MooseFS

MooseFS er en fejltolerant, netværk distribueret filsystem, der spreder data over flere fysiske servere, der er synlige for brugeren som en ressource & nbsp; For standard fil operationer MooseFS fungerer som andre Unix-alike filsystemer.:
& Nbsp; * En hierarkisk struktur (mappetræ)
& Nbsp; * Stores POSIX filattributter (tilladelser, sidste adgang og modifikation gange)
& Nbsp; * Understøtter specielle filer (blok og karakter-enheder, rør og stikkontakter)
& Nbsp; * symbolske links (filnavne peger at målrette filer, ikke nødvendigvis på MooseFS) og hårde links (forskellige navne på filer, som refererer til de samme data på MooseFS)
& Nbsp; * Adgang til filsystemet kan begrænses baseret på IP-adresse og / eller adgangskode
Særlige kendetegn ved MooseFS er:
& Nbsp; * Høj pålidelighed (flere kopier af data kan lagres på flere separate computere)
& Nbsp; * Kapaciteten er dynamisk udvides ved at knytte nye computere / diske
& Nbsp; * Slettede filer lagres i en konfigurerbar periode (et filsystem niveau "trash bin")
& Nbsp; * Sammenhængende snapshots af filer, selv mens filen bliver skrevet / adgang
MooseFS består af fire komponenter:
& Nbsp; * Håndtering server (master server) & ndash; en enkelt maskine styre hele filsystem, lagring af metadata for alle filer (oplysninger om størrelse, egenskaber og filplaceringer (er), herunder alle oplysninger om ikke-almindelige filer, dvs. telefonbøger, stikkontakter, rør og udstyr).
& Nbsp; * Dataene servere (luns servere) - helst antal råvarepriser servere lagre filer data og synkronisere dem indbyrdes (hvis en bestemt fil formodes at eksistere i mere end en kopi).
& Nbsp; * Metadata backup-server (e) (metalogger server) - et vilkårligt antal servere, som alle butik metadata changelogs og periodisk downloade vigtigste metadata fil; for at fremme disse servere til den rolle, som den administrerende serveren, når primær mester standser arbejdet.
& Nbsp; * Client computere der har adgang (Mount) filerne i MooseFS - et vilkårligt antal maskiner, som anvender mfsmount proces til at kommunikere med den administrerende server (til at modtage og ændre fil metadata) og med chunkservers (at udveksle aktuelle fil data).
mfsmount bygger på FUSE mekanisme (filsystem i userspace), så MooseFS er tilgængelige på alle operativsystem med en arbejdsgruppe FUSE gennemførelse (Linux, FreeBSD, MacOS X, etc.)
Metadata er lagret i hukommelsen på den administrerende server og samtidig gemt på disken (som en periodisk opdateret binær fil og straks opdateret trinvise logs). Den vigtigste binær fil samt logs synkroniseres til metaloggers (hvis det findes).
File data er opdelt i fragmenter (klumper) med et maksimum på 64MiB hver. Hver klump er selv en fil på udvalgte diske på data servere (chunkservers).
Høj pålidelighed opnås ved at konfigurere så mange forskellige dataservere efter behov for at realisere den "mål" værdi (antal kopier til at holde), der er fastsat for den givne fil.
hvordan systemet fungerer
Alle fil operationer på en klientcomputer, der er monteret MooseFS er nøjagtig de samme, som de ville være med andre filsystemer. Styresystemets kerne overfører alle fil operationer til FUSE-modul, der kommunikerer med mfsmount processen. Den mfsmount proces kommunikerer via efterfølgende netværk med de administrerende server og data-servere (luns servere). Hele denne proces er fuldt transparent for brugeren.
mfsmount kommunikerer med forvaltningsmyndigheden server, hver gang der kræves en operation på filen metadata:
& Nbsp; * oprette filer
& Nbsp; * at slette filer
& Nbsp; * læsning mapper
& Nbsp; * attributter læsning og skiftende
& Nbsp; * skiftende filstørrelser
& Nbsp; * i begyndelsen af ​​læsning eller skrivning af data
& Nbsp; * på enhver adgang til særlige filer på MFSMETA
mfsmount anvender en direkte forbindelse til dataserveren (chunk server), der lagrer den pågældende bid af en fil. Når du skriver en fil, efter endt skrive-processen den administrerende serveren modtager oplysninger fra mfsmount at opdatere en fil længde og den sidste ændring gang.
Endvidere dataservere (chunk servere) kommunikerer med hinanden til at replikere data for at opnå et passende antal af kopier af en fil på forskellige maskiner.
& Nbsp;
fejltolerance
& Nbsp;
Administrative kommandoer tillader systemadministratoren for at angive "mål", eller antallet af kopier, der bør bevares, på en per-mappe eller pr-fil-niveau. Indstilling af mål til mere end én, og som har mere end én dataserver vil give fejltolerance. Når filen gemmes i mange kopier (på mere end én dataserver), systemet er modstandsdygtigt over for svigt eller midlertidigt netværk udfald af en enkelt data server.
Dette er naturligvis ikke henviser til filer med "mål" sat til 1, i hvilket tilfælde filen vil kun eksistere på en enkelt data-server, uanset hvor mange data-servere er indsat i systemet.
Undtagelsesvis vigtige filer kan have deres målsætning til en række højere end to, som vil give disse filer til at være resistente over for en opdeling af mere end én server på én gang.
Generelt indstillingen for antal kopier til rådighed bør være en mere end det forventede antal utilgængelige eller out-of-order-servere.
I det tilfælde, hvor en enkelt data-server oplever en fejl eller afbrydelse fra nettet, filerne er gemt i det, der havde mindst to eksemplarer, vil forblive tilgængelige fra en anden data server. De data, der nu er "under sit mål" vil blive gentaget på en anden tilgængelig data server til igen at give det ønskede antal kopier.
Det skal bemærkes, at hvis antallet af tilgængelige servere er lavere end "mål" indstillet til en given fil, det ønskede antal kopier kan ikke bevares. Ligeledes hvis der er det samme antal servere som den aktuelt indstillede mål, og hvis en data-server har nået 100% af sin kapacitet, vil det være i stand til at begynde at holde en kopi af en fil, der nu er under målet tærskel på grund af en anden data-server går offline. I disse tilfælde er en ny data server skal tilsluttes til systemet så hurtigt som muligt for at opretholde det ønskede antal kopier af filen.
En ny data server kan tilsluttes til systemet på ethvert tidspunkt. Den nye kapacitet vil straks blive tilgængelig for brug til at gemme nye filer eller til at holde replikerede kopier af filer fra andre data servere.
Administrative hjælpeprogrammer findes at forespørge status for filerne i filen for at fastslå, om nogen af ​​filerne er i øjeblikket under deres mål (sæt antal kopier). Denne anvendelighed kan også anvendes til at ændre målsætning som krævet.
De data fragmenter gemt i klumper er versioneret, så re-forbinde en data-server med ældre kopi af data (såsom hvis det havde været offline i en periode), ikke vil få filerne til at blive usammenhængende. Dataserveren synkroniserer sig til at holde de aktuelle versioner af klumper, hvor forældede bidder vil blive fjernet, og den ledige plads, vil blive omfordelt til at holde de nye bidder.
Svigt af en klient maskine (der kører mfsmount processen) vil ikke have nogen indflydelse på sammenhængen i filsystemet eller på anden kundes drift. I værste fald de data, der endnu ikke er blevet sendt fra den fejlbehæftede klientcomputeren kan gå tabt.
& Nbsp;
PLATFORME
& Nbsp; MooseFS er tilgængelige på alle operativsystem med en arbejdsgruppe FUSE implementering:
& Nbsp; * Linux (Linux 2.6.14 og op har FUSE støtte indgår i den officielle kerne)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Føreren server, metalogger server og chunkservers kan også køre på Solaris eller Windows med Cygwin. Desværre uden FUSE vil det ikke være muligt at montere filsystemet i disse operativsystemer

Hvad er nyt i denne udgivelse:.

< li> De vigtigste ændringer omfatter fast signal håndtering i flertrådede moduler, mål og trashtime grænser i mfsexport.cfg, og en simpel kontrol for downloadede metadata filer.

Hvad er nyt i version 1.6.19:

• Væsentlige ændringer blev introduceret til metalogger maskine og metarestore redskab til bedre integritet metadata.
• En scanning statuslinje i CS blev tilsat.
• Det store navn er nu løst, når en forbindelse mislykkes.
• En ny session oprettes, når den forrige er tabt.
• Masser af andre fejlrettelser og forbedringer blev foretaget.

Hvad er nyt i version 1.6.17:

• I denne version introducerede vi en automatisk data cache management .
• Det er nok til at opgradere bare master server (ingen ændringer i luns servere eller kundernes kode blev foretaget).
• Kernen cache mekanisme altid har eksisteret, men indtil nu cachen var altid ryddet ved at åbne en fil. Nu MooseFS styrer om at rydde det eller ej, ved at kontrollere, om filen var eller ikke ændret af en anden klient. Lad os se på nogle scenarier.
• Første scenarie:
• 1. Computer A læser filen X
• 2. Computer B læser filen X
• 3. Computer A ønsker at læse filen X - vi forlader cache (filen blev ikke ændret)
• Andet scenarie:
• 1. Computer A læser filen X
• 2. Computer A skriver til filen X
• 3. Computer A ønsker tor læse filen X - vi forlader cache (filen blev ændret, men computer A kender disse ændringer)
• Tredje scenarie:
• 1. Computer A læser filen X
• 2. Computer B skriver til filen X
• 3. Computer A ønsker at læse filen X - her har vi at tvinge til at tømme cachen (fordi ændringer blev foretaget af Computer B og Computer A ikke ved om dem)
• I faste miljøer første og andet scenarier sker langt oftere end tredje scenarie, og det er derfor, det er rimeligt at lade indholdet af cachen og få den samlede systemets ydeevne.
• Der er selvfølgelig nogle gennemsnitlige scenarier (men de også eksisterede før) som denne:
• 1. Computer A åbner fil X og læser det fuldstændigt (filen forbliver i cache)
• 2. Computer B ændrer filen X
• 3. Computer A igen læser filen X (men uden at lukke eller at genåbne det - bare flytte på position 0 og genlæse den)
• I denne situation Computer A ville få de samme data som i trin 1, men det samme skete også i MooseFS før.
• En attribut nodatacache blev også indført som forbyder at cache en fil. Fra og med version 1.6.17 filer med nodatacache attribut opfører sig som filer gjorde i ældre versioner af MooseFS. Dette flag kan bruges med redskaber mfsseteattr, mfsdeleattr og mfsgeteattr.
• Dette flag blev tilføjet forebyggende og sandsynligvis vil du ikke behøver at bruge den. Hvis der efter nogen tid ser det ud til, at det er virkelig ubrugelig det vil blive slettet. Men hvis du finder nogen tilfælde / scenario, der kræver deaktivering af automatiske cache mekanisme du dele det med os.