Apache Hadoop blev oprindeligt udviklet af Yahoo, og projektet er en kombination mellem de tidligere Apache Hadoop Core og Apache Hadoop Fælles repos.
Den Hadoop projektet har fået en masse berygtet takket være sine gode resultater i gennemførelsen af en multi-server distribueret databehandling system til håndtering af enorme mængder af data.
Selve projektet er faktisk lavet af fire dele. Den ene er Hadoop Common, den såkaldte kerne, der tillader alle andre moduler til at arbejde, den anden er sin helt egen filsystem - HDFS (Hadoop Distributed File System), den tredje er Hadoop garn planlægning rammer, og endelig er der Hadoop MapReduce systemet til at understøtte parallel computing.
Brug disse banebrydende system har Apache formået at skabe mange andre sideprojekter, som:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- Apache HBase
- Apache Hive
- Apache Mahout
- Apache Pig
- Apache Spark
- Apache Tez
- Apache Zookeeper
Alle disse er afhængige af Hadoop magtfulde databehandling motor eller dens distribuerede computing funktioner, der integrerer en af sine moduler i deres kerne er den ene eller den anden måde.
Hvad er nyt i denne udgivelse:
- Støtte til arkivering
- Transparent data i hvile kryptering (beta)
- Betjening sikker DataNode uden at kræve root-adgang
- Hot swap drev: support tilføje / fjerne data node mængder uden at genstarte data node (beta)
- AES støtte til hurtigere wire kryptering
- Støtte til lange kører tjenester i GARN
- Support node etiketter under planlægning
- Understøttelse af tidsbaserede ressource reservationer i Capacity Scheduler (beta)
- Global, fælles cache for ansøgning artefakter (beta)
- Support drift af applikationer indbygget i Docker containere (alfa)
Hvad er nyt i version 2.7.1:
- Støtte til arkivering
- Transparent data i hvile kryptering (beta)
- Betjening sikker DataNode uden at kræve root-adgang
- Hot swap drev: support tilføje / fjerne data node mængder uden at genstarte data node (beta)
- AES støtte til hurtigere wire kryptering
- Støtte til lange kører tjenester i GARN
- Support node etiketter under planlægning
- Understøttelse af tidsbaserede ressource reservationer i Capacity Scheduler (beta)
- Global, fælles cache for ansøgning artefakter (beta)
- Support drift af applikationer indbygget i Docker containere (alfa)
Hvad er nyt i version 2.7.0:
- Støtte til arkivering
- Transparent data i hvile kryptering (beta)
- Betjening sikker DataNode uden at kræve root-adgang
- Hot swap drev: support tilføje / fjerne data node mængder uden at genstarte data node (beta)
- AES støtte til hurtigere wire kryptering
- Støtte til lange kører tjenester i GARN
- Support node etiketter under planlægning
- Understøttelse af tidsbaserede ressource reservationer i Capacity Scheduler (beta)
- Global, fælles cache for ansøgning artefakter (beta)
- Support drift af applikationer indbygget i Docker containere (alfa)
Hvad er nyt i version 2.6.0:
- Støtte til arkivering
- Transparent data i hvile kryptering (beta)
- Betjening sikker DataNode uden at kræve root-adgang
- Hot swap drev: support tilføje / fjerne data node mængder uden at genstarte data node (beta)
- AES støtte til hurtigere wire kryptering
- Støtte til lange kører tjenester i GARN
- Support node etiketter under planlægning
- Understøttelse af tidsbaserede ressource reservationer i Capacity Scheduler (beta)
- Global, fælles cache for ansøgning artefakter (beta)
- Support drift af applikationer indbygget i Docker containere (alfa)
Hvad er nyt i version 2.5.0:.
- Authentication forbedringer ved brug af en HTTP-proxyserver
- En ny Hadoop Metrics vask, der gør det muligt at skrive direkte til Graphite.
- Specifikation for Hadoop Kompatibel Filsystem indsats.
- Understøttelse af POSIX-stil filsystem udvidede attributter.
- OfflineImageViewer at gennemse en fsimage via WebHDFS API.
- supportering forbedringer og fejlrettelser til NFS gateway.
- Moderniseret web UIS (HTML5 og Javascript) for HDFS dæmoner.
- garn s REST API'er støtte indgivelse og dræbe applikationer.
- integration Kerberos for garn tidslinje butik.
Hvad er nyt i version 2.4.0:
- Understøttelse af Access Control Lists i HDFS
- Native støtte til Rolling opgraderinger i HDFS
- Brug af protokol-buffere til HDFS FSImage for glatte operationelle opgraderinger
- Komplet HTTPS support i HDFS
- Understøttelse af automatisk failover af garnet ResourceManager
- Forbedret støtte til nye applikationer på garn med Application Historie Server og Application Timeline Server
- Støtte til stærke SLA'er i GARN CapacityScheduler via Forrang
Hvad er nyt i version 2.3.0:.
- Understøttelse af heterogene opbevaring hierarki i HDFS
- I-memory cache til HDFS data med central administration og ledelse.
- Forenklet distribution af MapReduce binære filer via HDFS i GARN Distributed Cache.
Hvad er nyt i version 2.2.0:
- garn - En generel formål resource management system til Hadoop at tillade MapReduce og andre andre databehandling rammer og tjenester
- Høj kapacitet for HDFS
- HDFS Federation
- HDFS Snapshots
- NFSv3 adgang til data i HDFS
Hvad er nyt i version 2.1.0-beta:
- HDFS Snapshots
- Støtte til at køre Hadoop på Microsoft Windows
- garn API stabilisering
Hvad er nyt i version 2.0.3-alpha:
- QJM for HDFS HA for NameNode
- Multi-ressource planlægning (CPU og hukommelse) til garn
- garn ResourceManager Genstart
- Betydelig stabilitet ved skala for garn (over 30.000 knuder og 14 millioner ansøgninger hidtil, på tidspunktet for release)
Hvad er nyt i version 1.0.0:.
- Bedre sikkerhed
- HBase (føje / hsynch / hflush og sikkerhed).
- webhdfs (med fuld understøttelse af sikkerhed).
- Ydelse forbedret adgang til lokale filer til HBase.
- Andre ydeevne forbedringer, fejlrettelser og funktioner.
Hvad er nyt i version 0.20.2:
- RPC Server send buffer bevarer størrelse største respons nogensinde sendt.
- C ++ biblioteker bygger ikke på Debian Lenny.
- Nogle C ++ scripts er ikke chmodded før ant udførelse.
- Streaming:. Proces forudsat statusmeddelelser overskrives hver 10 seoncds
- IllegalArgumentException når CombineFileInputFormat bruges som job InputFormat.
- Flere bugs m / Hadoop arkiver.
- Tillad caching af filsystem tilfælde er deaktiveret på en per-instans basis.
- mangler synkronisering for defaultResources i Configuration.addResource.
- GzipCodec bør ikke repræsentere BuiltInZlibInflater som decompressorType.
- NameNode s HTTPServer kan ikke instantiere InetSocketAddress: IllegalArgumentException kastes .
- HTTPServer sover med negative værdier.
- Namenode løber af ud af hukommelsen på grund af hukommelsesfejl i ipc Server.
- IPC klient bug kan forårsage rpc opkald hænge.
- I mangel tests forhindrer resten af test mål fra henrettelse.
- contrib test svigter Clover'ed bygge.
- Tests ikke køre på 0,20 gren.
- TestStreamingStatus svigter på 0,20 gren.
Kommentarer ikke fundet