You are here
Home > posts

Bruke AWS Virtual Tape Library som lagring for Bacula.

Bruke AWS Virtual Tape Library som lagring for Bacula.

I denne artikkelen vil vi opprette en Storage Gateway-virtuell maskin pa stedet som vil cache og lagre sikkerhetskopieringsdata fra Bacula.

Storage Gateway-virtuell maskin vil da laste opp dataene til VTL-tjenesten, og ha en kostnadseffektiv sikkerhetskopieringslosning, som samtidig gjor det mulig a lagre data backup fra vare datamaskiner.

Hva er Bacula?

Bacula er en Open Source-pakke for a administrere sikkerhetskopiene. Det er veldig tilpassbart og gir en meget kraftig lagringskonfigurasjon. Du kan lagre sikkerhetskopiene dine i band (enkeltstasjon eller ved hjelp av en mediaveksler) eller til en lokal disk.

Bacula arkitektur er laget av avkoblede programmer som gjor det enkelt a kombinere forskjellige lagringssystemer. Du kan bruke flere lagringsbakgrunn fra samme Bacula-direktor.

Hva er Virtual Tape Library?

Virtual Tape Library (eller VTL) er en tape-basert lagringslosning av Amazon Web Services Storage Gateway. Du kan bruke VTL-tjenesten til a arkivere sikkerhetskopieringsdata i Amazon Glacier, som gir somlos integrering mellom lokalt miljo og AWS-skyen.

Arkitekturen vil se slik ut, bortsett fra at vi vil bruke et enkelt datasenter (kilde):

Ved a distribuere Storage Gateway-virtuell maskin pa stedet, vil vi ha fordel av a ha en lokal cache av vare data, noe som gjor det mulig bade rask tilgang til de nyeste dataene sikkerhetskopiert og en buffer mellom datasenteret og S3-lagringen der virtuelle band bo.

Det anbefales sterkt at du bruker individuelle diskenheter som skal brukes som opplastingsbuffer og bufferlagring i lagringsgatewayen din. Husk at begge bufferstorrelsene vil ha direkte innvirkning pa ytelsen fordi deres hovedbruk er a unnga nettverkslatens mellom lagringsgatewayen og AWS. Du kan bruke RAW iSCSI-enheter hvis du tilfeldigvis har noen form for SAN.

Tilkoblinger fra Bacula til VTL.

Du ma installere iSCSI Initiator Tools for Linux-distribusjonen (open-iscsi i Debian og derivater, iscsi-initiator-utils hvis du bruker en Red Hat-smak). I vart spesielle tilfelle skal vi bruke Debian.

For a oppdage malene som VTL-apparatet avslorer, kan du folge instruksjonene fra VTL-dokumentasjonen, i et notteskall:

# Dette vil utgjore gatewayens IQN som du vil bruke i neste kommando.

sudo / sbin / iscsiadm & # 8211; modusoppdagelse & # 8211; type sendargets & portal; GATEWAY_IP: 3260.

# Dette vil koble malet (enheter utsatt av VTL virtuell maskin)

sudo / sbin / iscsiadm & # 8211; moduskode & # 8211; malnavn IQN_YOU_GOT_IN_THE_PREVIOUS_COMMAND.

& # 8211; portal GATEWAY_IP: 3260,1 & # 8211; logg inn.

Merk at systemet ditt som standard kan oppdage enhetene som generiske SCSI-enheter, men for at Bacula skal fungere riktig, ma vi laste inn & # 8216; st & # 8216; sjafor. Du kan tvinge det ved a legge til modulnavnet til / etc / modules.

Du kan se de nylig tilforte enhetene ved hjelp av lsscsi -g:

[3: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st3 / dev / sg5.

[4: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st2 / dev / sg3.

[5: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st0 / dev / sg2.

[6: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st1 / dev / sg4.

[7: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st9 / dev / sg12.

[8: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st4 / dev / sg7.

[9: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st5 / dev / sg6.

[10: 0: 0: 0] mediumx AWS Gateway-VTL 0100 & # 8211; / Dev / SG8.

[11: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st8 / dev / sg9.

[12: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st7 / dev / sg10.

[13: 0: 0: 0] tape IBM ULT3580-TD5 0103 / dev / st6 / dev / sg11.

Som du kan se, har vi 10 stasjoner og en mediaveksler, og vi kan bruke en hvilken som helst kombinasjon av stasjonene hvis vi har lagringsplass og bandbreddekapasitet. I dette innlegget bruker vi bare en av dem, men husk at du kan bruke dem alle hvis du vil.

Siden Linux i dag bruker udev til autodiscover-enheter, kan det hende at enhetens navn ikke er bevart mellom omstart. Siden Bacula-konfigurasjonen trenger et statisk enhetnavn, vil vi skrive en udev-regel for a matche medieveksleren og gi den et forhandsdefinert navn. Legg til folgende linjer i /etc/udev/rules.d/80-drivers.rules.

# type 8-enheter er & # 8220; Medium Changers & # 8221;

Dette vil opprette en lenke under / dev / tape / by-id / peker til den oppdagede vekslerenheten. For eksempel:

lrwxrwxrwx 1 rotrot 9 mar 11 14:41 scsi-2414d5a4e5f5347572d454632-veksler – & amp; gt; ../../sg8.

MTX: byttehjelpen.

Bacula er agnostisk om lagringsbakgrunnene. Det vet ikke hvordan man skal handtere en mediaveksler eller skrive til et band. Den bruker den underliggende UNIX-filosofien til & # 8220; alt er en fil & # 8221; og det bruker hjelperverktoy til a handtere band og stasjoner.

En av backend-verktoyene er mtx, et program som brukes til a styre medievekslere. Du kan bruke mtx manuelt til a fungere med veksleren, men hvis du gjor noen permamasjonsendring (for eksempel last / losseband), husk alltid a utfore oppdateringsspor-kommandoen i bacula-konsollen.

Liste Data Transfer Elements (stasjoner) samt Storage Elements (slots) med innholdet. Eksempel:

# mtx -f / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-vekslerstatus | Head-n 50.

Lagringsbytter / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-veksler: 10 stasjoner, 3200 plasser (1600 Import / Export)

Dataoverforingselement 0: Full (Lagringselement 1 Lastet): VolumeTag = TAP964B33.

Dataoverforingselement 1: Tomt.

Dataoverforingselement 2: Tomt.

Dataoverforingselement 3: Tom.

Dataoverforingselement 4: Tom.

Dataoverforingselement 5: Tomt.

Dataoverforingselement 6: Tomt.

Dataoverforingselement 7: Tomt.

Dataoverforingselement 8: Tom.

Dataoverforingselement 9: Tomt.

Lagringselement 1: Tomt: VolumeTag =

Lagringselement 2: Full: VolumeTag = TAP944B31.

Lagringselement 3: Full: VolumeTag = TAPA44B01.

Lagringselement 4: Full: VolumeTag = TAPA54B00.

Lagringselement 5: Full: VolumeTag = TAP5B4AFE.

V r oppmerksom pa at det er 3200 slots, 1600 regular slots og 1600 Import / Export slots, som brukes nar du arkiverer og gjenoppretter band til / fra Virtual Tape Shelf.

Lasting / lossing.

Du kan manuelt laste eller losne band fra sporene (Lagringselement) til stasjonene (Dataoverforingselement).

V r forsiktig, selv om Bacula opererer med stasjonene, for ikke a forstyrre sin normale drift.

For eksempel, a laste bandet plassert i spor 3 til stasjonsnummeret 9:

# mtx -f / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-veksler last 3 9.

Legger media fra Lagringselement 3 inn i stasjon 9 & # 8230; ferdig.

# mtx -f / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-vekslerstatus.

Lagringsbytter / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-veksler: 10 stasjoner, 3200 plasser (1600 Import / Export)

Dataoverforingselement 0: Full (Lagringselement 1 Lastet): VolumeTag = TAP964B33.

Dataoverforingselement 1: Tomt.

Dataoverforingselement 8: Tom.

Dataoverforingselement 9: Full (Lagringselement 3 lastet): VolumeTag = TAPA44B01.

Lagringselement 1: Tomt: VolumeTag =

Lagringselement 2: Full: VolumeTag = TAP944B31.

Lagringselement 3: Tomt: VolumeTag =

Det samme for losning (argumentordren er den samme):

# mtx -f / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-changer loss 3 9.

Losning av stasjon 9 i Lagringselement 3 & # 8230; ferdig.

# mtx -f / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-vekslerstatus | head -n 30.

Lagringsbytter / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-veksler: 10 stasjoner, 3200 plasser (1600 Import / Export)

Dataoverforingselement 0: Full (Lagringselement 1 Lastet): VolumeTag = TAP964B33.

Dataoverforingselement 1: Tomt.

Dataoverforingselement 8: Tom.

Dataoverforingselement 9: Tomt.

Lagringselement 1: Tomt: VolumeTag =

Lagringselement 2: Full: VolumeTag = TAP944B31.

Lagringselement 3: Full: VolumeTag = TAPA44B01.

Mtx-veksleromslaget.

Mtx-verktoyet er praktisk a utfore manuell styring av enhetene, men bacula kommer med en fin wrapper som kalles mtx-changer (i Debian-systemer kan du finne int i / etc / bacula / scripts / mtx-veksler), den som Bacula vil faktisk bruke.

Omslaget er faktisk ment a v re modifisert slik at det passer til dine spesielle behov, selv om det skal fungere ut av esken for de fleste skiftere. I det spesielle tilfellet av VTL vil det filtrere ut 1600 Import / Export-sporene, sa hvis du vil bruke dem direkte, dannes bacula-konsollen (for eksempel nar du oppretter et nytt band eller henter et arkivert band fra Virtual Tape Hylle, VTL vil sette den inn i en av de tilgjengelige I / E-sporene), du ma finjustere den litt. I vart tilfelle er vi glade for a samhandle med Import / Export-sporene ved hjelp av mtx-grensesnittet pa en manuell mate.

Bacula konfigurasjon.

Deretter ma vi endre Bacula-konfigurasjonen for a bruke de nye enhetene. Vi vil endre to filer:

bacula-sd.conf: Her konfigurerer vi de faktiske lagringsbakgrunnene (hvordan Bacula faktisk vil skrive til bandene og bruke medieveksleren). bacula-dir.conf: Vi skal definere en Lagringsressurs og gjore den tilgjengelig for bandbassene.

Lagring Daemon.

For a konfigurere Storage Daemon ma du bare opprette ressursene i konfigurasjonen for Storage Daemon (bacula-sd.conf-filen). La oss se ressursdefinisjonen, og sa vil vi bryte ned betydningen av retningslinjene:

Changer Command = & # 8220; / etc / bacula / scripts / mtx-veksler% c% o% S% a% d & # 8221;

Skifterenhet = / dev / tape / by-id / scsi-2414d5a4e5f5347572d454632-veksler.

Medietype = ULT3580-TD5.

Arkiveringsenhet = & # 8220; / dev / tape / by-bane / ip-GATEWAY-IP: 3260-iscsi-YOUR-IQN-tapedrive-01-lun-0-nst & # 8221;

Autochanger: Definisjonen av egenskapene til mediumveksleren:

Navn: Vilkarlig navn (identifikator) for enheten Autochanger Device: Kommaseparert liste over Enhetsressurser som fungerer med denne autochangeren Changer Command: Program som brukes nar Bacula trenger a laste / laste av band til / fra stasjonene. Skifterenhet: SCSI-enheten for a kjore autochanger. Her er hvor vi vil sette navnet pa symlinken som vi lager med udev-regelen.

Enhet: Definisjonen av hver av bandstasjonene:

Navn: Vilkarlig navn (identifikator) for denne stasjonen Stasjonsindeks: Stikkordregister (brukt for mtx) Medietype: Vilkarlig identifikator av kassetter som denne enheten kan bruke. Du kan bruke samme medietype for flere Enhetsressurser, hvis de er kompatible (og de er hvis du bruker VTL!), sa Bacula vil ikke binde et bestemt band som skal leses av en enkelt stasjon, i stedet vil en hvilken som helst stasjon v re OK for laster inn virtuelt tape. Arkiveringsenhet: Den faktiske enheten som Bacula vil bruke til a skrive til stasjonen RemovableMedia: Indikerer at media kan trekkes ut (i motsetning til en katalog pa harddisken) RandomAccess: Tape-stasjoner kan ikke lese / skrive til vilkarlig posisjon , ma du spole tilbake og deretter begynne a bevege seg frem til onsket del av bandet. AutoChanger: Denne enheten tilhorer en automatisk veksler.

Vi legger til et nytt lagrings- og bassengressurser i konfigurasjonsfilen for bacula-dir.conf:

Adresse = storage-daemon.fqdn # N.B. Bruk et fullt kvalifisert navn her.

Enhet = & # 8220; VTL Autochanger & # 8221;

Medietype = ULT3580-TD5.

Pool Type = Sikkerhetskopiering.

De 2 viktige retningslinjene er:

1. Lagring: Definisjonen av lagringen for jobbene vare.

Navn: Vilkarlig identifikator som vi vil bruke i Pool ressursadresse: IP eller vertsnavn opplosbart av klientene. Denne strengen er bestatt ordentlig til klientene, slik at de vet hva Storage Daemon de skal bruke. Passord: Brukes til a autentisere med Storage Daemon Device: Navn som vi ga til Autochanger-ressursen i Storage Daemon-konfigurasjonen. Medietype: Ma samsvare med medietype-direktivet fra Autochanger-definisjonen i Storage Daemon. Autochanger: Angir at denne lagringen er en autochanger.

2. Basseng: Definisjon av et basseng av band som Bacula kan bruke til a lage sikkerhetskopier.

Navn: Vilkarlig identifikator som vi vil bruke i bane for jobbressurs Pool: Bruk bare Backup her. Lagring: navnet vi ga til lagringsressursen tidligere.

Sa er vi alle satt. Na trenger vi bare a bruke Pool ressursen som bruker VTL lagringsbackend i vare backup jobber.

Innpakning.

Som vi har sett, er Bacula-konfigurasjonsmulighetene sv rt kraftige, men det kan v re ganske komplisert a sette opp (Hva? Ma jeg legge til 4 ressurser i to forskjellige filer bare for a bruke en bandstasjon?), Men det er der fleksibilitet ligger.

AWS Virtual Tape Library er en perfekt match for Bacula. Vi har lokale, lett tilgjengelige data (hviler i hurtigbufferen i VTL-apparatet pa stedet), i tillegg til sikre, skybaserte eksterne eksterne sikkerhetskopier. Vi kan utnytte isbreer for a redusere kostnadene ogsa.

Hace poco meg di con la sorpresa que S3 solo soporta hasta 4GB de tamano de archivo en la subida. Como maneja el gateway vtl si los volumes de bacu que intento respaldar en la una tiene como tamano limite 100GB cada uno?

Hola Jhonatan, mye bedre enn deg!

Los limites que comentas no son correctos. Utilizando la API de S3 ser deg som en del av de 5 GB-nettene som er tilgjengelig pa 5 GB, og du kan bare bruke 5 TB for a se flere opplastinger, men du kan ikke se noen problemer med de 100GB-kompatible VTL-ene.

Espero haberte ayudado, un saludo!

UDEV-reglene dine fungerer ikke i CentOS 7:

# type 8-enheter er & # 8220; Medium Changers & # 8221;

Det bryter LVM partisjoner, ikke alle vil montere og systemet blir kastet i en vedlikeholdsmodus ved oppstart.

Beklager, menes a legge til:

Hvis du legger til hele banen til scsi_id som er / usr / lib / udev / scsi_id, oppstar det fortsatt feil, det starter en LVM2 PV-skanning og feiler .. i vedlikeholdsmodus.

Hei Drew! Takk for a kommentere.

Det er ganske rart hva som skjer i ditt tilfelle. UTV-regelen oppretter bare en symlink, og bare for bytterenheten (TYPE = 8). Det bor ikke tukle med de andre enhetene dine.

Uansett, jeg hadde ikke muligheten til a sjekke prosedyren beskrevet i artikkelen i et CentOS 7-system, sa jeg er redd for at jeg ikke kan hjelpe her.

Har du sjekket den offisielle AWS dokumentasjonen for a se om det er noen spesielle trinn for a huske pa nar du bruker CentOS 7?

Hola Alberto, desde mi consola AWS, jeg er en av de beste pa VM-gatewayen, og jeg har begrensninger for VMware ?, ikke noe for meg selv, og KVM ?, med en gateway til Bacula og AWS.

Hola Jhonatan! AWS no soporta hipervisores KVM, ukjente enheter og VMWare ESXi, Microsofts Hyper-V en uavhengig instans EC2. For det forste, vis http://docs.aws.amazon.com/storagegateway/latest/userguide/Requirements.html#requirements-host para mas detalles.

Espero haberte ayudado.

L. Alberto Gimenez.

Jeg er ikke sikker pa din udev-kommando. Pa en RHEL7 returnerer den:

# / usr / lib / udev / scsi_id & # 8211; sg-versjon = 4 & # 8211; eksport & # 8211; hvitelisted -d / dev / sg5.

Ikke bry deg, jeg var dump.

Takk for at du kommenterer, ikke tenk a sporre noe som ikke er klart!

L. Alberto Gimenez.

Legg igjen et svar Avbryt svar.

Hvordan lage en Pokemon Go klon i AWS (I)

Komprimere en MySQL-tabell. Hva kan muligens ga.

El valor de la independencia.

Om Amazon S3 utbrudd: gir hoy tilgjengelighet.

Stotte for 2016 Perl QA Hackathon.

Como conectar en un mirror server despues de un fa.

Cloud Cost Efficiency 101.

Una Guia de SAP og Amazon Web Services.

Vi vokser og ansetter!

La oss holde deg oppdatert! Abonner pa vare hendelser og nyheter fordoye! Vi vil ikke skrive til deg mer enn to ganger i maneden.

Aldgate Tower – 2 Leman Street.

Cerro de los Gamos 1, Edificio 1.

28224 Pozuelo de Alarcon.

Placa de Catalunya 1.

� 2001-2018 CAPSiDE. arkitekter av det digitale samfunnet | Juridisk merknad.

Dette nettstedet bruker informasjonskapsler. Ved a fortsette a bla gjennom nettstedet godtar du var bruk av informasjonskapsler.

Top

Hallo! Vil du spille i det mest populære kasinoet? Vi fant det for deg. Gå her nå!