Dapper Dataflow Engine

Dapper (Distributed og Parallel Program Execution Runtime) er et værktøj til at tæmme de komplekse udvikling for storstilet sky og grid computing, gør det muligt for brugeren at skabe distribuerede beregninger fra det væsentlige - den kode, der vil execut
Hvorfor Dapper?
Vi lever i interessante tider, hvor gennembrud i videnskaberne i stigende afhængige af den stigende tilgængelighed og overflod af commoditized, netværksbaserede it-ressourcer. Med hjælp af skyen eller gitter, beregninger, der ellers ville køre i flere dage på en enkelt desktop maskine nu har distribueret og / eller parallelle formuleringer, der kan kværne igennem, i løbet af få timer, input satte ti gange så stor på hundrede maskiner . Så dragende som tanken om styrke i tal kan være, at have bare fysisk hardware er ikke nok - en programmør har til håndværk den faktiske beregning, der vil køre på den. Derfor den høje værdi placeret på menneskelig indsats og kreativitet nødvendiggør en programmeringsmiljø der gør det muligt, og endog opmuntrer, kortfattet udtryk for distribuerede beregninger, og alligevel på samme tid ikke ofrer generalitet.
Dapper, stående for Distribuerede og Parallel Program Execution Runtime, er et sådant værktøj til at bygge bro over videnskabsmand / programmør høje niveau specifikationer, der fanger essensen af ​​et program, med de mekanismer lavt niveau, der afspejler de usmagelige realiteter distribueret og parallel computing. Under sin dataflow tilgang, Dapper giver brugerne mulighed for at kode lokalt i Java og udføre globalt på skyen eller gitter. Brugeren først skriver codelets eller små uddrag af kode, der udfører simple opgaver, og som ikke i sig selv udgør et komplet program. Bagefter han eller hun angiver, hvordan disse codelets, ses som knudepunkter i dataflow, overføre data til hinanden via kant relationer. Den resulterende instrueret acykliske dataflow graf er et komplet program tolkes af den Dapper server, som, efter at være kontaktet af langlivede arbejdstager klienter, kan koordinere en distribueret henrettelse.
Under Dapper model, brugeren ikke længere behøver at bekymre sig om traditionelt ad hoc aspekter af forvaltningen skyen eller gitter, der omfatter håndtering af data interconnects og afhængigheder, inddrive fra fejl, distribuere kode, og start arbejdspladser. Måske endnu vigtigere, det giver en hel Java-baserede toolchain og runtime til indramning næsten alle grovkornet distribuerede beregninger i et ensartet format, der giver mulighed for hurtig indsættelse og nem transport til andre forskere.

Funktioner :

• En kode distributionssystem, der gør det muligt for Dapper server til at overføre nødvendige programkode over netværket og har kunder dynamisk indlæse den. En konsekvens af dette er, at spærring eksterne eksekverbare, opdateringer dapper programmer behøver kun ske på server-side.
• En kraftig delstrøm indlejring metode til dynamisk modificering af dataflow graf på runtime.
• En runtime i vanille Java, et sprog, mange er uden tvivl bekendt med. Bortset fra kravet om en nylig JVM og eventuelt Graphviz Dot, Dapper er selvstændig.
• En robust kontrol protokol. Den Dapper server forventer et vilkårligt antal kunder til at mislykkes, når som helst, og har tilpasses genindførte udførelse og timeout politikker til at klare. Derfor kan man starte og stoppe (langlivet) kunder uden frygt for at sætte hele systemet i en inkonsistent tilstand.
• Fleksible semantik, der tillader dataoverførsler via filer eller TCP vandløb.
• Interoperabilitet med firewalls. Da din lokale sky eller gitter sandsynligvis sidder bag en firewall, har vi udtænkt særlige semantik til streaming dataoverførsler.
• Liberal licensbetingelser. Dapper er udgivet under LGPL at forhindre forurening af din kodebase.
• Drift som en indlejret applikation. En brugsanvisning beskriver programmeringen API, som brugerne kan følge for at køre Dapper server inde et program som Apache Tomcat.
• Drift som en standalone brugergrænseflade. Med det, kan man køre off-the-shelf demoer og lære centrale begreber fra visuelle eksempler. Ved at følge et minimalt sæt af konventioner, kan man derefter bundte sine egne Dapper programmer som udførelse arkiver, og derefter få realtime dataflow status og debugging feedback.

Hvad er nyt i denne udgivelse:

• ServerLogic # closeIdleClients metode er ændret for bedre at matche de brugerens intuitive begreb lediggang.
• En bruger mulighed for at angive serverens værtsnavn er blevet tilføjet.
• Netværk interne blevet omarbejdet til at bruge nye API'er.
• byggeprocessen er blevet opdateret til at understøtte både 32- og 64-bit Windows cross-kompilering.
• dapper. * Hierarkiet er blevet omdøbt til org.dapper. *.

Hvad er nyt i version 0.96:

• Tilføjet FlowListener abstraktion, så brugerne kan nu associeret metadata med datastrømme og deres noder.
• Rettet en hukommelsesfejl i Dapper server.
• Tilføjet apiviz Doclet tags, så relationer mellem klasser bedre kan visualiseres.
• Tilføjet apiviz til visualisering af afhængigheder i javadoc.
• Rettet en lille fejl i BuildAndTest eksekverbar.
• byggeprocessen er nu fuldt integreret med Apache Ivy. Kilden fordeling nu længere skibe med SST. I stedet er afhængigheder downloades automatisk; mangel heraf kan man downloade SST kilden, kompilere det og udgive til en lokal lageret. Se brugervejledningen for yderligere oplysninger.
• Opdateret byggeprocessen og fjernet overflødige trin.
• Normaliseret ophavsret og licens bekendtgørelser i alle filer.
• Java 1.6 er nu forpligtet til at bygge og køre.
• Skift byggeprocessen til at bruge Apache Ivy, hvilket betyder, at eksterne afhængigheder ikke længere behøver at være pakket med SST vigtigste distribution.
• Added 'doxygen' mål om at bygge processen, så indfødte komponenter kan dokumenteres.

Hvad er nyt i version 0.95:

• En ny, fleksibel logging infrastruktur er blevet tilføjet
• startværdier for logning strukturer er blevet flyttet ud af serveren og klienten klasser og ind drivere.
• tilstandsmaskiner er blevet opdateret til den nye anmærkning-drevet API.
• Kildekoden er blevet normaliseret til at have 8 mellemrum i stedet for faneblade.

Hvad er nyt i version 0.94:

• Kommandolinjeflag for klient og server er nu tilgængelige, høflighed af Apache Commons CLI-bibliotek.
• Klienten proces livscyklus er nu defineret som slutter, når en afbrydelse fra serveren sker.
• Stem generation funktionalitet har bevæget sig fra at være et medlem metode OutputHandleResource at være en statisk metode CodeletUtilities.
• FlowNodeFactory klasse bruges til fordel for direkte instantiering af FlowNodes.
• Bygning af indfødte komponenter har migreret til CMake.
• Logning har migreret til SLF4J.
• En README er blevet tilføjet til alle distributioner.

Hvad er nyt i version 0.93:.

• Stærkt forbedrede pædagogiske eksempler
• Opdateret manual.
• Tilføjet convenience rutiner i dapper.codelet.CodeletUtilities for ressource forespørgsler.
• Fjernet Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource og FileBatchResource. De er blevet erstattet med begrebet abstrakte data håndtag i form af HandleEdge, InputHandleResource, OutputHandleResource. Se manual for ændringer.
• Opdateret dapper.codelet.Resource at eksportere input og output streams.

Krav :

• Java 2 Standard Edition Runtime Environment