Apache Hive

Apache Hive blev først udviklet som en Apache Hadoop delprojekt for at give Hadoop administratorer med en nem at bruge, dygtige query sprog til deres data.
På grund af dette, blev Hive udviklet fra starten at arbejde med store mængder af information for hver forespørgsel og er perfekt tilpasset til stor skala databaser og forretningsmiljøer.
Værktøjer er inkluderet for let lastning, udvinding og transformering af data, mens brugerdefinerede datastrukturer kan påtvinges et bredt sæt af dataformater.
Da det er en Hadoop-relateret projekt for HDFS og HBase projekter støttes også automatisk.
HiveQL er sandsynligvis den bedste del af projektet, der giver en enkel, innovativ og effektiv forespørgsel sprog, samtidig være i stand til at håndtere kortlæggere og reduktionsgear i situationer, hvor den indfødte SQL syntaksen ikke kan få den ønskede data.

Hvad er nyt i denne udgivelse:

• Support ukorrelerede underforespørgsler i WHERE
• Tilføj NULL defineret AS til udlandet FORMAT specifikation
• Ccreate / drop database skal befolke ind- / udgange og tjek concurrency og brugerens tilladelse
• Support specificerer omfang og præcision med Hive decimal typen
• Lad der blive Tez
• En eksplodere funktion, der indeholder elementet position i arrayet
• Tilføj char datatype
• Opret indsamle UDF og gøre evaluator genbruges
• Udvid rekord forfatter og ORC læser / skriver grænseflader til at levere statistik
• Implementere statistik giver ORC forfatter og læser grænseflader
• Beskriv hive operatør træ med statistik fra metastore
• Give kolonne statistik stribe niveau i ORC
• Underforespørgsler support: forbyde indlejring af underforespørgsler
• Underforespørgsler support: tillade underforespørgsel udtryk i at have klausul
• Underforespørgsler support: flere test
• Native Parket Support på Hive
• Hive bør være i stand til at springe sidehoved og sidefod rækker, når du læser datafil for en tabel
• Tilføj DATO, TIMESTAMP, decimal, CHAR, VARCHAR typer støtte i HCat
• Brug kortet-slutte vink til cache mellemliggende resultat
• Tilføj UDF til at beregne afstanden mellem geografiske koordinater

Hvad er nyt i version 1.2.0:

• Support ukorrelerede underforespørgsler i WHERE
• Tilføj NULL defineret AS til udlandet FORMAT specifikation
• Ccreate / drop database skal befolke ind- / udgange og tjek concurrency og brugerens tilladelse
• Support specificerer omfang og præcision med Hive decimal typen
• Lad der blive Tez
• En eksplodere funktion, der indeholder elementet position i arrayet
• Tilføj char datatype
• Opret indsamle UDF og gøre evaluator genbruges
• Udvid rekord forfatter og ORC læser / skriver grænseflader til at levere statistik
• Implementere statistik giver ORC forfatter og læser grænseflader
• Beskriv hive operatør træ med statistik fra metastore
• Give kolonne statistik stribe niveau i ORC
• Underforespørgsler support: forbyde indlejring af underforespørgsler
• Underforespørgsler support: tillade underforespørgsel udtryk i at have klausul
• Underforespørgsler support: flere test
• Native Parket Support på Hive
• Hive bør være i stand til at springe sidehoved og sidefod rækker, når du læser datafil for en tabel
• Tilføj DATO, TIMESTAMP, decimal, CHAR, VARCHAR typer støtte i HCat
• Brug kortet-slutte vink til cache mellemliggende resultat
• Tilføj UDF til at beregne afstanden mellem geografiske koordinater

Hvad er nyt i version 1.1.0:

• Support ukorrelerede underforespørgsler i WHERE
• Tilføj NULL defineret AS til udlandet FORMAT specifikation
• Ccreate / drop database skal befolke ind- / udgange og tjek concurrency og brugerens tilladelse
• Support specificerer omfang og præcision med Hive decimal typen
• Lad der blive Tez
• En eksplodere funktion, der indeholder elementet position i arrayet
• Tilføj char datatype
• Opret indsamle UDF og gøre evaluator genbruges
• Udvid rekord forfatter og ORC læser / skriver grænseflader til at levere statistik
• Implementere statistik giver ORC forfatter og læser grænseflader
• Beskriv hive operatør træ med statistik fra metastore
• Give kolonne statistik stribe niveau i ORC
• Underforespørgsler support: forbyde indlejring af underforespørgsler
• Underforespørgsler support: tillade underforespørgsel udtryk i at have klausul
• Underforespørgsler support: flere test
• Native Parket Support på Hive
• Hive bør være i stand til at springe sidehoved og sidefod rækker, når du læser datafil for en tabel
• Tilføj DATO, TIMESTAMP, decimal, CHAR, VARCHAR typer støtte i HCat
• Brug kortet-slutte vink til cache mellemliggende resultat
• Tilføj UDF til at beregne afstanden mellem geografiske koordinater

Hvad er nyt i version 1.0.0:

• Support ukorrelerede underforespørgsler i WHERE
• Tilføj NULL defineret AS til udlandet FORMAT specifikation
• Ccreate / drop database skal befolke ind- / udgange og tjek concurrency og brugerens tilladelse
• Support specificerer omfang og præcision med Hive decimal typen
• Lad der blive Tez
• En eksplodere funktion, der indeholder elementet position i arrayet
• Tilføj char datatype
• Opret indsamle UDF og gøre evaluator genbruges
• Udvid rekord forfatter og ORC læser / skriver grænseflader til at levere statistik
• Implementere statistik giver ORC forfatter og læser grænseflader
• Beskriv hive operatør træ med statistik fra metastore
• Give kolonne statistik stribe niveau i ORC
• Underforespørgsler support: forbyde indlejring af underforespørgsler
• Underforespørgsler support: tillade underforespørgsel udtryk i at have klausul
• Underforespørgsler support: flere test
• Native Parket Support på Hive
• Hive bør være i stand til at springe sidehoved og sidefod rækker, når du læser datafil for en tabel
• Tilføj DATO, TIMESTAMP, decimal, CHAR, VARCHAR typer støtte i HCat
• Brug kortet-slutte vink til cache mellemliggende resultat
• Tilføj UDF til at beregne afstanden mellem geografiske koordinater

Hvad er nyt i version 0.8.1:

• Værktøjer der gør det let data ekstrakt / transformere / belastning (ETL).
• En mekanisme til at pålægge struktur på en række forskellige dataformater.
• Adgang til filer gemt enten direkte i Apache HDFS (TM) eller andre data storage systemer såsom Apache HBase (TM).
• Query udførelse via MapReduce.

Hvad er nyt i version 0.8.0:

• Værktøjer der gør det let data ekstrakt / transformere / belastning (ETL)
• En mekanisme til at pålægge struktur på en række forskellige dataformater
• Adgang til filer gemt enten direkte i Apache HDFS (TM) eller andre data storage systemer såsom Apache HBase (TM)
• Query udførelse via MapReduce

Hvad er nyt i version 0.7.1:

• Bugs:
• Undtagelse på vinduer ved brug af JDBC driver. & quot; IOException:. Systemet kan ikke finde stien angivet & quot;
• Schema skabelse scripts er ufuldstændige, da de udelader tabeller, der er specifikke for DataNucleus.
• Forbedringer:
• Forbedre diverse fejlmeddelelser.
• Retur korrekte Større / Mindre versionsnumre for JDBC Hive driver.
• Tilføj HivePreparedStatement implementering baseret på aktuelle HIVE understøttes af data-type.
• Opgaver:
• hive i Maven.
• Give Metastore opgradere scripts og standard skemaer til PostgreSQL.

Hvad er nyt i version 0.7.0:

• Ny funktion:
• Autorisation infrastruktur til Hive
• Implementere indeksering i Hive
• Tilføj afspejle () UDF for reflekterende påkaldelse af Java metoder
• Hive TypeInfo / ObjectInspector at støtte union (udover struct, array, og kort)
• Implement GenericUDF str_to_map
• Patch at støtte SOM klausul i Hive
• Spor slutter som bliver konverteret til kort-slutte automatisk
• Ring til hyppighed og varighed målinger for HiveMetaStore via JMX
• Vedligehold lastAccessTime i metastore
• Forbedring:
• Give mulighed for at eksportere en HEADER
• Understøttelse af tydelig markering på to eller flere kolonner
• Beskrive udvidet bord / partition output er kryptisk
• mangler nogle JDBC funktionalitet som getTables, getColumns og HiveResultSet.get * metoder baseret på kolonne navn.
• Tapping logs fra barn processer
• Support filter pushdown mod ikke-indfødte tabeller
• Erstat afhængigheder på HBase frarådet API
• Tilføj queryid mens låsning
• Opdater transident_lastDdlTime kun hvis ikke angivet
• Tilføj flere debug information til bistade låsning
• HiveInputFormat eller CombineHiveInputFormat altid synkronisere blokke af RCFile to gange
• Vis den tid den lokale opgave tager
• Opret en ny dyrepasser eksempel når prøver igen lås, og mere info for debug
• Tilføj en mulighed for at køre opgave at kontrollere kort-slutte mulighed i ikke-lokal tilstand
• Mere debugging til låsning
• Tilføj en indstilling i dynamiske partition indsatser til at smide en fejl, hvis 0 partitioner er lavet
• Bugs:
• & quot; LOAD DATA LOCAL INPATH & quot; mislykkes, når bordet allerede indeholder en fil med samme navn
• NULL er ikke håndteres korrekt i slutte
• HiveInputFormat.getInputFormatFromCache & quot; svaler & quot; årsag undtagelse, når kaste IOExcpetion
• Tilføj fremskridt deltage og groupby
• Simple UDAFs med mere end 1 parameter styrt på tom række forespørgsel
• UDF felt () fungerer ikke
• Dynamiske partition indsatse efterladt tomme filer urensede i Hadoop 0,17 lokal tilstand
• Skip tæller opdatering, når RunningJob.getCounters () returnerer null

Hvad er nyt i version 0.5.0:.

• Lad brugeren angive serde for brugerdefinerede scripts
• Tilføj UDF unhex.
• Fjern lzocodec import fra FileSinkOperator.
• driver NullPointerException, når du ringer getResults uden først kompilering.
• Ydelse forbedring for RCFile og ColumnarSerDe i Hive.