Rocks Cluster

Rocks Cluster er et open source projekt, der giver brugerne en Linux-distribution baseret på CentOS operativsystem og designet fra bunden til at tilbyde et fuldt udbyggede klynge på en cd løsning for Red Hat Linux klynger.
Tidligere kendt som NPACI Rocks Cluster Tool Kit, fordelingen tillader enhver at nemt og hurtigt bygget en Rocks klynge. Det giver også erfarne brugere til at bygge beregningsmæssige klynger, visualisering flisebelagt-display vægge og gitter endpoints.Based på CentOSBeing baseret på CentOS Linux distribution, som igen er baseret på Red Hat Enterprise Linux operativsystem, det Rocks Cluster distro giver en kraftfuld, stabil og pålidelig enterprise-klar system, der har en unik og enkel installation proces.
Den leveres med alle de nødvendige værktøjer til styring af klynger, såsom PBS, GM support, Maui, ganglier og mere. Du vil være i stand til at implementere, opgradering, omfang og styre klynger uden megen besvær. I øjeblikket er det kun 64-bit (x86_64) arkitektur supported.Getting gang med Rocks clusterin for at bygget en compute klynge, vil brugerne nødt til at oprette en bare-bone klynge, starte deres front-end med Kernel / Boot roll og tilføje basen Roll, OS Roll Disk 1, OS Roll Disk 2, og OS Disk 3 ISO billeder. For fuldt udbyggede klynger, bør du også tilføje Area51, SGE, ganglier HPC, Python, Perl, og web-server ruller.
På den anden side bør de, der ønsker at opbygge en brugerdefineret klynge vælge fra Rocks Cluster er a la carte udvalg og download Base og Kernel / Boot ruller, såvel som alle af operativsystemet rolls.Bottom lineAll i alt, Rocks Cluster er en CentOS-baserede enterprise-klar Linux-distribution, der anvendes af hundredvis af forskere over hele verden til at installere deres egen klynge. Det er et unikt styresystem drevet af en overflod af open source-teknologier og konstrueret til nemt at implementere håndterbare klynger

Hvad er nyt i denne udgivelse:.

< ul>

Hvad er nyt i version 6.1.1:

• Den seneste opdatering af Rocks kodenavn Sand Boa nu frigivet. Sand Boa er en 64-bit kun frigive og er baseret på CentOS 6.5 The Rocks-leverede OS ruller har alle opdateringer anvendes fra 14. april 2014. Dette omfatter opdateringer til OpenSSL Heartbleed.
• Understøttelse af ZFS er blevet opdateret til version 0.6.2. Condor er nu HTCondor roll er ved frigivelsen 8.0.6
• omfattede også er en ny rulle kaldet fingeraftryk, som dynamisk afgør afhængigheder af kompileret kode på begge Rocks og ikke-Rocks-systemer.

Hvad er nyt i version 5.4:

• Nye funktioner:
• Redesign af Avalanche Installer.
• Mens observere udførelsen af ​​lavine Installer på en 1000-node maskine, blev det klart, at vi skal reducere så meget trafik til frontend som muligt. Dette førte til udskiftning af python BitTorrent-baserede installationsprogram med en BitTorrent-inspirerede installatør skrevet i C. C-kode giver os mulighed for at sætte flere filer i peer-to-peer-netværk, især: product.img (160KB), stage2. img (108MB) og updates.img (98MB).
• For yderligere at reducere trafikken til frontend, frontend sender nu pakke forudsigelser til Installation noder. Når en node beder om en pakke, trackeren på frontend sender en liste over node adresser, hvor der kan konstateres, at pakke, plus en liste over de næste 9 pakker, node vil sandsynligvis bede om næste. Når lignende apparater samtidigt installerer, dette reducerer tracker trafik ved 10x.
• Installation noder kan grupperes. Når en installation knude anmoder tracker for placeringen af ​​en pakke, og hvis andre noder samtidigt installerer, vil trackeren favorisere knuder, der er i samme gruppe som den anmodende knude, dvs. listen trackeren sender tilbage til installation node vil have knuder fra samme gruppe som installere node øverst på listen. Standarden gruppering er ved rack, men det kan blive kontrolleret af & quot; coop & quot; attribut. For eksempel, hvis du ønsker at sætte alle knuder fra rack 0 og rack 1 i samme gruppe (opkaldt & quot; red & quot;), vil du udfører: & quot; sten sæt vært attr rack0 rack1 coop red & quot;
.
• Man kan angive flere trackere og flere & quot; pakke servere & quot ;. En pakke-server er en node, der er & quot; garanteret & quot; at have den ønskede fil (f.eks frontend).
• For hver downloadede fil, en MD5 checksum kontrol udføres. Dette registrerer det tilfælde, hvor en peer kan have ødelagt en fil og forhindrer den beskadigede fil spredes i peer-to-peer-netværk.
• Channel bonding for knuder nu kontrolleres af Rocks kommandolinjen.
• Channel bonding konfiguration for en node er gemt i databasen og kan tilføjes, fjernes eller ændres med Rocks kommandolinjen (f.eks & quot; sten tilføje vært bundet ... & quot;). Efter kanal bonding er konfigureret til en node, kan den dynamisk anvendes ved at udføre & quot; klipper sync host netværk ... & quot;.
• Alle noder 'firewall regler styres af Rocks kommandolinjen.
• Reglerne for alle knuder er gemt i databasen og kan tilføjes, fjernes eller ændres med Rocks kommandolinjen (f.eks & quot; sten åben vært firewall & quot ;, & quot; sten tæt vært firewall & quot ;, & quot; sten fjern vært firewall & quot;). Efter en node firewall indstillinger ændres, kan de anvendes på node på-the-fly med & quot; klipper sync host firewall 'hostname' & quot; (Denne kommando kaldes også når brugeren udfører & quot; klipper sync host netværk ... & quot;).
• Indførelse af & quot; Air Traffic Control & quot;.
• Vi har udviklet en service, kendt som & quot; Airboss & quot; der findes på det fysiske frontend (i Dom0), og det giver mulighed for ikke-root brugere at styre deres VM'er. Motivationen for denne service er, at libvirt (en virtualisering API skrevet af RedHat der kan styre flere forskellige virtualisering implementeringer) antager & quot; rod & quot; adgang til at kontrollere og overvåge VM'er.
• Airboss i Rocks er en lille tjeneste, der bruger digitalt signerede meddelelser til at give ikke-root brugere adgang til deres virtuelle klynge (og kun deres virtuelle klynge). Den Airboss afhængig offentlige / private nøglepar til at validere beskeder. Administratoren af ​​den fysiske hosting klyngen skal udstede en enkelt kommando til at knytte en offentlig nøgle med en bestemt virtuel klynge. På det tidspunkt, kan den fulde proces med kraftoverførsel op, kraftoverførsel ned og installere en virtuel klynge blive kontrolleret af (autoriseret) ikke-root-bruger.
• Udover VM effektstyring, vi har også tilføjet muligheden for at knytte til et VM konsol. Dette giver brugerne mulighed for at se hele startrækkefølgen for et VM startende fra & quot; BIOS & quot; boot-beskeder.
• Flere Rocks kommandoer blev sat til at understøtte denne funktion: & quot; sten skabe nøgler & quot; (For at skabe offentlige / private nøglepar), & quot; sten sat vært magt & quot; (Til magten op / ned VM'er og magt installere et VM, beslægtet med PXE opstart en fysisk maskine), og & quot; sten åben vært konsol & quot; (For at binde sig til en VM konsol).
• & quot; greceptor & quot; erstattet med & quot; channeld & quot;.
• Wiren protokol for ganglier meddelelser ændret som krævede en større revision at greceptor. Vi traf beslutningen om at skrive et simpelt RPC-baseret tjeneste (navnet 'channeld ") til at overtage ansvar greceptor. Channeld accepterer 411-put anmodninger og virker på dem ved hjælp af 411-get til at downloade filer under kontrol af 411.
• Alle andre komponenter i 411 forbliver uændret, er det kun anmeldelsen motoren er blevet forbedret.
• DNS opløsning for flere domæner.
• DNS navnesystem på frontend understøtter nu flere zoner, hvor hver subnet forvaltes af frontend kan sættes ind i en anden zone. DNS-tjenesten kan slås til eller fra for hver enkelt zone.
• Log ind apparat support.
• En node kan konfigureres som en login apparatet. Som standard kan et login apparat indsende job, men det kan ikke udføre job.
• Angiv navnet på en vært baseret på navnet på et specifikt netværk interface.
• & quot; primary_net & quot; attribut giver knudepunkter for at have / bin / værtsnavn sæt til navnet på et andet sted end & quot netværksinterface, private & quot ;. Dette er nyttigt for login eller andre multiple interface-apparater.
• Nemt bytte 2 interfaces med en Rocks kommando.
• Hvis du vil bytte indstillingerne for 2 interfaces, udføre & quot; klipper swap værtsinterface ... & quot;.
• Oprettet en GIT opbevaringssted for Rocks-relaterede kildekode.
• Vært & quot; git.rocksclusters.org & quot; er en GIT opbevaringssted for alle centrale Rocks kode, UCSD Triton Resource kode og Rocks contrib kode.
• Forbedringer:
• OS: Baseret på CentOS frigive 5 / opdatering 5, og alle opdateringer som af November 2, 2010
.
• Base: Anaconda installatør opdateret til v11.1.2.209
.
• Base: ikke længere restere det private netværk til & quot; eth0 & quot ;, i stedet Rocks holder styr på netværket en node kickstarted fra og kortlægger, at netværket til & quot; private & quot; netværk. For eksempel, hvis en node kickstarted off & quot; eth1 & quot ;, så & quot; eth1 & quot; vil blive kortlagt til det private netværk.
• Base: hærdede Anaconda installationsprogrammet til mere aggressivt skrive grub konfigurationsfiler på boot disk. Dette medvirker til at mindske & quot; hænge under forsøget på at indlæse Grub stage2 & quot; problem.
• Base: fjernet ext4 kernel modul fra installation miljø. Vi fandt, at forsøge at montere en swap partition som en ext4 filsystem ofte forårsaget kernepanik under installationer.
• Base: tilføjet ksdevice = bootif til alle PXE boot målene. Dette forbedrer installation hastighed ved at genbruge IP-adresse / interface oplysninger, når en node PXE støvler. Tidligere ville en node igen scanne alle ethernet interfaces.
• Base: når en node XML-fil har en syntaksfejl, & quot; sten liste host profil & quot; udskriver navnet på den node XML-fil og linjenummer, hvor syntaksfejl opstod.
• Base: & quot; sten kører vært & quot; nu gyder flere parallelle tråde, når flere værter er leveret. Også tilføjet følgende parametre:. Timeout (! Tak Tim Carlson), forsinkelse, statistik, indsamle og tal-tråde
• Base: yum konfiguration standard modificeret til at binde til frontend offentlige IP i stedet for den private. Dette letter let pakke installation for eksterne knuder (f.eks-noder kører på en offentlig cloud).
• Base:. Ikke-eksisterende attributter anses for at være falske betingede når man bygger konfigurationsfiler
• Base: & quot; går forud & quot; metode tilføjet for Rocks kommandoen plugins at aktivere finkornet bestilling af plugin udførelse.
• Base: netværksgrænseflader under Linux support 2 nye specifikke tilstande: & quot; dhcp & quot; og & quot; noreport & quot ;. & Quot; dhcp & quot; tilstand indikerer, at grænsefladen bør altid DHCP at få sin adresse. & Quot; noreport & quot; tilstand angiver, at der ikke & quot; ifcfg - * & quot; filen skal skrives for grænsefladen. Hvis en indstilling ikke er angivet for en grænseflade, så Rocks vil skabe en & quot; ifcfg - * & quot; fil for grænsefladen baseret på værdierne i databasen (ligesom den gjorde i den forrige udgivelse).
• Base: IPMI nu bruger interface kanal kolonne i netværk tabellen for at angive nummeret fodpanelet controller kanal
.
• Base: tekst i & quot; Changelog & quot; tags er nu pakket ind i CDATA at tillade XML escape-tegn. Dette understøttes kun for node XML-filer inden Rolls (ikke for node XML-filer findes under / eksport / klipper / installere / site-profiler.
• Base: ruller kan bygges uden en fuldstændig kopi af Rocks kildekode. De bruger Rocks udviklingsmiljø findes under / opt / klipper / share / udvik på en frontend.
• Area51:. Snubletråd opdateret til v2.4.2
• Bio:. Opdateret CPAN moduler
• Bio:. Genopfrisket CPAN MPI-Blast
• Bio:. Tilføjet Celera Whole Genome Sequence Assembler
• Condor:. Opdateret til v7.4.4
• Condor: automatiseret Condor konfiguration helt retooled: 1) konfigurationen er Rocks kommando baseret i stedet for enkeltstående CondorConf værktøj, 2) det understøtter dynamisk opdatering af eventuelle / alle konfigurationer på noder, 3) det bruger Rocks kommandoen plugins til at tillade yderligere automatiseret condor config (fx via plugin, kan det slå MPI support).
• Condor:. Understøtter en pulje password (delt hemmelighed) for yderligere kontrol vært
• Condor:. Integreres med EC2 roll at udvide Condor pools med EC2 Værter
• Condor: støtte tilføjet for port svinger lette firewall konfiguration
.
• Condor: lokal kopi af Condor er manpages tilføjet at rulle dokumenter
.
• Condor:. Støtte til opdatering Condor på noder uden re-installation (f.eks sten kører vært & quot; yum opdatering condor & quot;; sten sync host condor)
• Ganglier:. Monitor-core opdateret til v3.1.7
• Ganglier:. Rrdtool opdateret til v1.4.4
• Ganglier:. Ganglier Roll kan nu tilføjes on-the-fly til en eksisterende frontend
• Ganglier: alle knuder sende deres metriske metadata hvert 3. minut. I fortiden, da gmond blev genstartet på frontend det ikke kunne indsamle målinger fra knuderne, fordi den ikke havde nogen metadata fra knuderne (og det ikke har en måde at spørge knuderne fordi knuderne er konfigureret i & quot; døve & quot;. tilstand)
• HPC:. Iozone opdateret til v3.347
• HPC:. Iperf opdateret til v2.0.5
• HPC:. MPICH2 opdateret til v1.2.1p1
• HPC:. OpenMPI opdateret til v1.4.3
• HPC: klipper-openmpi er standard MPI, og den er konfigureret med MPI-vælgeren
.
• SGE:. SGE opdateret til V62u5
• SGE: enhver vært kan konfigureres til at være en henrettelse vært ved at indstille værtens & quot; exec_host & quot; og & quot; SGE & quot; attributter til sand og enhver vært kan blive en indsendelse vært ved at indstille værtens & quot; submit_host & quot; og & quot; SGE & quot; attributter til sand.
• Web-server:. Mediawiki opdateret til v1.16.0
• Web-server:. Wordpress opdateret til v3.0.1
• Xen: enhver node kan hvordan værten Xen virtuelle maskiner. Dette styres med & quot; Xen & quot; attribut.
• Xen: indstille effekt for alle noder i et virtuelt klynge (undtagen VM frontend) med en kommando (& quot; sten sat cluster magt ... & quot;). Strømindstillinger kan være & quot; på & quot ;, & quot; off & quot; eller & quot; installere & quot; (Tænd og tvinge installation).
• Xen: tillade virtuelle maskiner til at definere VLAN tagged interfaces. Tidligere blev VLAN tagging understøttes kun for fysiske grænseflader.
• Fejlrettelser:
• Base: ikke-root brugere kan ikke længere se de krypterede adgangskoder med 'sten liste host attr «. Hashet adgangskoder nu gemt i en kolonne 'skygge' i attribut tabeller.
• Base: & quot;% & quot; i & quot; sten køre vært% & quot; nu returnerer alle værter. Tak til Tom Rockwell for rettelsen.
• Base: Hvis en Ethernet switch sender en DHCP-forespørgsel, DHCP-serveren ikke længere sender den & quot; filnavn & quot; og & quot; næste server & quot; i DHCP svar. Dette forårsagede nogle kontakter ikke korrekt indlæse deres firmware. Mere generelt er det kontrolleret af & quot; kickstartable & quot ;, & quot; dhcp_filename & quot; og & quot; dhcp_nextserver & quot; attributter.
• Base: & quot; sten sæt password & quot; beder brugeren om at bekræfte deres nye adgangskode.
• Base: når en node anmoder om en kickstart-fil og hvis frontend fastslår, at frontend er for & quot; optaget & quot ;, det sætte gang node nu korrekt gør en tilfældig backoff før genbrug anmoder sin kickstart-fil. Forud for denne rettelse, ville en node backoff i 30 sekunder.
• Base:. Flere betingede kan nu være til stede i XML-tags
• Base: fast en graf traversal problem. I fortiden, hvis du havde grafen & quot; en & quot; (Cond) til & quot; b & quot; til & quot; c & quot; og hvis & quot; cond & quot; var falsk, ville grafen traversal omfatte & quot; en & quot; og & quot; c & quot ;. Nu er det bare indeholder & quot; en & quot;.
• Base: tilladelser er fastsat i & quot; fil & quot; tag bevares selv om der er andre & quot; fil & quot; tags for den samme fil, som ikke angive tilladelser filens. Fejlen var, da en senere & quot; fil & quot; tag uden en & quot; permanenter & quot; attribut opstod, tilladelser filens blev ryddet.
• Base: & quot; fil & quot; tags understøtter nu & quot; os & quot; betingede.
• Base: i indsætte-ethere, apparater, der er markeret & quot; ikke kickstartable & quot; vil ikke have at vente på en kickstart-fil. I fortiden, en havde at ramme & quot; F9 & quot; (Force quit) for at afslutte indsatsen-ethere, når opdager ikke kickstartable apparater (f.eks Ethernet-switche).
• Base: IPMI konfiguration renset. Rocks ikke længere genererer fejlagtige poster i modprobe.conf eller / etc / sysconfig / ifcfg-IPMI.
• Base: Den & quot; pre & quot; tag understøtter nu & quot; tolk = & quot; attribut.
• Bio: elimineret & quot; Permission Denied & quot; fejl under flere kørsler på samme BLAST database af forskellige brugere.
• SGE: lavet indsamling job metriske mere effektiv. Tidligere, da 100-vis af jobs underkastes en frontend kø, ville SGE metriske tage så lang tid at udføre, det forårsagede gmond at stoppe samle målinger for alle værter.
• SGE: Antallet af CPU'er array-jobs forbruge nu korrekt tælles
.