Apache Pig har affødt fra Apache Hadoop projekt, og er en af dens moduler, hvor ansvaret for at give en måde at analysere de data, den behandles og lagres.
Gris bruger et tilpasset query sprog kaldet "Pig Latin", som er utrolig let at lære og understøtter både relationelle og funktionelle stilarter.
Dette betyder at du kan bruge det som en klassisk SQL sprog nyder godt af data slutter og filtre, eller du kan bruge sin MapReduce funktioner, data kortlæggere og reduktionsgear.
Som standard Apache Gris var ment til at blive brugt inde Hadoop installationer, men nyere versioner gør det muligt at køre separat via en separat JVM
Hvad er nyt i denne udgivelse:.
- Stikbare udførelse motorer (for at tillade gris køre på ikke-MapReduce motorer i fremtiden)
- Automatisk lokal tilstand (til job med små datainput størrelse til at køre i-processen)
- Hent optimering (at forbedre interactiveness af grynt)
- Faste tællere til lokal-tilstand
- Støtte til brugerniveau krukke cache
- Støtte til sortlistning og whitelisting svin kommandoer
- Flere ydeevne rettelser og debuggability funktioner
- Et par ikke-bagudkompatibel grænseflade ændringer er blevet indført i denne udgivelse til at gøre gris arbejde med ikke-MapReduce motorer
Hvad er nyt i version 0.14.0:
- Stikbare udførelse motorer (for at tillade gris køre på ikke -mapreduce motorer i fremtiden)
- Automatisk lokal tilstand (til job med små datainput størrelse til at køre i-processen)
- Hent optimering (at forbedre interactiveness af grynt)
- Faste tællere til lokal-tilstand
- Støtte til brugerniveau krukke cache
- Støtte til sortlistning og whitelisting svin kommandoer
- Flere ydeevne rettelser og debuggability funktioner
- Et par ikke-bagudkompatibel grænseflade ændringer er blevet indført i denne udgivelse til at gøre gris arbejde med ikke-MapReduce motorer
Hvad er nyt i version 0.11.0:
- Denne udgivelse indeholder DateType datatype, rang, CUBE og ROLLUP operatører, Groovy UDFS, brugerdefinerede reducering estimering, schema-baserede tupler og HCatalog DDL integration.
Hvad er nyt i version 0.9.1:.
- Denne udgivelse fungerer med Hadoop 0,20
Hvad er nyt i version 0.6:
- Tilføjet Zebra som et contrib projekt. Se http://wiki.apache.org/pig/zebra
- Tilføjet UDFContext, giver brugerdefinerede funktioner en måde at videregive information fra front til bag ende og giver UDFS adgang til JobConf i backend.
- Tilføjet venstre ydre join til fragment replikere deltage.
- Tilføjet evne til at sætte prioritet job fra Pig latin.
- Udvidet multi-forespørgsel til at arbejde med slutter i nogle tilfælde.
- omarbejdet hukommelse manager til reducere GC-overhead og Out of Heap fiaskoer.
- Tilføjet Akkumulator interface til brugerdefinerede funktioner.
- Over 100 fejlrettelser og forbedringer.
Krav :
- Java 1.6.x eller højere
- Apache Hadoop 0.20.x eller højere
Kommentarer ikke fundet