S3QL

S3QL understøtter Amazon S3 samt vilkårlige SFTP servere og effektivt giver dig en harddisk med dynamisk, uendelig kapacitet, der kan tilgås fra enhver computer med internetadgang.
S3QL leverer en standard, fuldt udbyggede UNIX filsystem, er begrebsmæssigt ikke kan skelnes fra enhver lokale filsystem. Desuden S3QL har ekstra funktioner som kompression, kryptering, data de-duplikering, uforanderlige træer og snapshotting, som gør det særligt velegnet til online backup og arkivering.
S3QL er designet til at favorisere enkelhed og elegance i ydeevne og feature-creep. Der er sørget for at gøre kildekoden som læsbar og brugbar som muligt. Solid afsløring fejl og fejlhåndtering er medtaget fra første linje, og S3QL kommer med omfattende automatiserede test cases for alle dets komponenter.
Før der kan monteres et filsystem, backend, der varetager det data skal initialiseres. Dette gøres med mkfs.s3ql kommando. Her er vi ved hjælp af Amazon S3 backend, og nikratio-s3ql-spand er S3 bucket, hvor filsystemet skal gemmes.
mkfs.s3ql s3: // nikratio-s3ql-spand
For at montere S3QL filsystemet gemt i S3 bucket nikratio_s3ql_bucket i mappen / mnt / s3ql indtaste:
mount.s3ql s3: // nikratio-s3ql-spand / mnt / s3ql
Nu kan du instruere din foretrukne backup program til at køre en backup ind i mappen / mnt / s3ql og dataene vil blive gemt en Amazon S3. Når du er færdig, filsystemet skal afmonteres med
umount.s3ql / mnt / s3ql

Egenskaber :

• Gennemsigtighed. Begrebsmæssigt S3QL ikke kan skelnes fra et lokalt filsystem. For eksempel understøtter hardlinks, symlinks, fuld tilladelser Unix, Ekstra attributter og filstørrelser op til 2 TB.
• Dynamisk størrelse. Størrelsen af ​​en S3QL filsystem vokser og krymper dynamisk efter behov.
• Compression. Før opbevaring kan alle data komprimeret med LZMA, BZIP2 eller LZ algoritme.
• Kryptering. Efter komprimering (men før upload), kan alle data AES krypteret med en 256 bit nøgle. En yderligere SHA256 HMAC checksum bruges til at beskytte dataene mod manipulation.
• data de-duplikering. Hvis flere filer har samme indhold, vil de redundante data lagres kun én gang. Dette fungerer på tværs af alle filer i filsystemet, og også hvis kun nogle dele af filerne er identiske, mens andre dele er forskellige.
• Uforanderlige træer. Mappetræer kan gøres uforanderlige, således at deres indhold kan ikke længere ændres på nogen måde. Dette kan bruges til at sikre, at backup ikke kan ændres, efter at de er blevet gjort.
• Copy-on-Write / snapshotting. S3QL kan kopiere hele mappetræer uden brug af ekstra lagerplads. Kun hvis en af ​​kopierne er modificeret, den del af de data, der er blevet ændret vil tage ekstra lagerplads. Dette kan bruges til at skabe intelligente snapshots, der bevarer status af et register på forskellige tidspunkter ved hjælp af et minimum af plads.
• High Performance uafhængig af netværksventetid. Alle operationer, der ikke skriver eller læser fil indhold (som at skabe mapper eller flytte, omdøbe og ændre rettigheder på filer og mapper) er meget hurtigt, fordi de udføres uden nogen transaktioner netværk.
• S3QL opnår dette ved at gemme hele filen og mappestruktur i en database. Denne database er lokalt cachede og fjernbetjeningen kopi opdateret asynkront.
• Understøttelse af lav båndbredde. S3QL opdeler fil indhold i mindre blokke og caches blokke lokalt. Dette minimerer både antallet af netværk transaktioner, der kræves for data læsning og skrivning, og mængden af ​​data, der skal overføres, når kun dele af en fil læses eller skrives.

Hvad er nyt i denne udgivelse:

• Forsøg på at opgradere et filsystem, der allerede er på den nyeste udgave ikke længere gøre de lokale metadata kopi ubrugelig.
• Google opbevaring spand navne, som indeholder prikker ikke længere give problemer med SSL-certifikat validering.
• Løser et nedbrud, når statvfs () kaldes på en næsten tom filsystem.
• Der er en ny & quot; swiftks & quot; backend for OpenStack / Swift servere.
• Fjerner en race condition, der kan føre til mount.s3ql styrter ned med en & quot; KeyError i samlinger / abc.py & quot;.
• Løser et nedbrud, der kan opstå, når de forsøger at rydde op efter en forbindelse eller serverfejl når du uploader et objekt.

Hvad er nyt i version 2.2:

• S3QL nu bruger SSL-forbindelser som standard og kontrollerer server certifikater.
• En race condition, der resulterede i en tilsyneladende tab af remote metadata blev fastsat.
• S3 backend nu sletter flere lagrede objekter ved hjælp af en anmodning om muligt at reducere ventetid, trafik, og antallet af anmodninger om S3.
• S3QL er nu i stand til at opdage server fejl og omadresseringer, før alle data er blevet sendt til serveren.
• En ny "Rackspace" backend, der tillader specifikation af objektet lagerområdet i storage URL blev tilføjet.
• mount.s3ql --compress option nu tillader specifikation af kompression niveau.

Hvad er nyt i version 1.15:

• Cycling metadataelementers backups, når du bruger den lokale backend nu tager meget mindre tid.
• Det er ikke længere nødvendigt at S3QL og Python APSW knyttes til den samme SQLite delt bibliotek.
• I mount.s3ql, et nedbrud, når du bruger --metadata-upload-intervallet 0 blev fastsat.
• I stedet for helt afmontere filsystemet (og forlader monteringspunkt utilgængelige), når backend data mangler eller er beskadiget, S3QL nu returnerer en fejl, og skifter til skrivebeskyttet operation.

Hvad er nyt i version 1.13:

• Denne version løser en fejl, der forårsagede misdannet metadata, der skal skrives ud, når du bruger den seneste eglibc versioner.
• Det løser problemer, når de forsøger at få adgang til en mappe i roden af ​​filsystemet, der for nylig er blevet fjernet med s3qlrm.
• tilsyneladende ACL-support er blevet fjernet.
• Denne udgivelse bedre håndtag spande med ugyldig DNS-navne.
• Den vil forsøge igen, hvis DNS ikke er tilgængelig.

Hvad er nyt i version 1.11.1:

• Denne version løser et nedbrud, når du bruger S3 backend (regression introduceret i release 1.11), øger minimum rapporteres filsystem størrelse til 1 TB, og arbejder omkring en df bug så størrelse rapporteres korrekt.

Hvad er nyt i version 1.11:

• Metadata om lagrede objekter er nu opdelt i flere felter, så ikke felt er længere end 256 byte. (Dette gør S3QL kompatibel med en bredere vifte af storage udbydere.) Hurtig backend nu gensende hvis den modtager 5xx fejlkoder fra den eksterne server, og ikke længere mislykkes, når du forsøger at uploade data med en udløbet auth token.

Hvad er nyt i version 1.10:

• s3s, s3cs og GSS backends er fjernet. Brug den nye --ssl option sammen med s3, s3c, og GS backends i stedet.
• S3QL ikke længere holder styr på konsistens garantier for de forskellige underliggende programmer.
• Det stigende antal forskellige storage udbydere tilbyder forskellige regioner, redundans og tilgængelighed niveauer gør dette ikke længere muligt.
• Brugsanvisningen indeholder en ny sektion, & quot; Vigtig regler for at undgå at miste data & quot;.
• Læsning det anbefales kraftigt.

Hvad er nyt i version 1.9:

• Denne version gør fil tider ikke længere ændre sig, når ændre systemet tidszone, rettelser og forbedrer contrib / benchmark.p fastsætter & quot; For mange lænket omadresseringer & quot; bug, gensende på 5xx serverfejl, og tilføjer eksperimentel understøttelse af OpenStack / SWIFT-servere og eksperimentel proxy support.

Hvad er nyt i version 1.8:

• A & quot; ValueError: Kan ikke dumpe NULL-værdier & quot; nedbrud, når filsystemet metadata blev uploadet under kraftig filsystem aktivitet blev fastsat.
• s3qlcp og directory notering ydeevne til meget store biblioteker blev forbedret.
• En rm ydeevne regression blev fastsat.
• -. Blokstørrelse blev omdøbt til --max-obj-size
• Nogle går ned, der skete under stærkt samtidige brug filsystem blev fastsat.
• python-llfuse 0.37 bruges nu.

Begrænsninger :

• Der er stadig masser af bugs i koden, og du skal være klar til at håndtere dem. Ikke desto mindre, kan du være rimelig sikker på, at de fejl (selvom ubelejligt) ikke er til hinder dine gemte data.