Apache Nutch

Apache Nutch blev bygget oven på Apache Lucene , en kraftfuld Java søgemaskine.
Nutch udviklere ændret Lucene kodebase, omdannelse af de data-agnostiker Lucene kodebase i et projekt dedikeret til at søge data på nettet specifikt.
Denne teknologi kan bruges til at søge på dine egne websider som en indbygget Search Server, eller kravle nettet og finde data at analysere og skrabe ind i din database.
Nutch kan køre på en enkelt maskine, men fungerer bedre i Hadoop klynger.
Forskellige plugins er tilgængelige for at udvide sin frekvensanvendelsen

Hvad er nyt i denne udgivelse:.

• Sørg dublerede tags findes ikke i mikroformatet-reltag tag sæt.
• En bedre falde tilbage værdi for datofeltet.
• Slip af den frygtede.
• Opgrader til Hadoop 1.2.0.
• Opgrader til Tika 1.3.

Hvad er nyt i version 2.0:.

• Omdøbt HTMLParseFilter ind ParseFilter
• Fjern resterende robotter / IP blokering kode i lib-http.
• Port logning til slf4j.
• Ekstern parser understøtter kodning attribut.
• Ivy konfigurationsindstillinger inkluderer ikke Gora.
• Indsprøjtningsdyse bør tilføje metadata, før du ringer injectedScore.
• Port Nutch benchmark til Nutchbase.
• Tilføj parse-html tilbage.
• MoreIndexingFilter mangler datoformat.
• Timeout for Parser.
• Prøv igen interval i crawl dato er sat til 0.
• Generer log udgang til Solr indekseringen og dedup.
• Forbedret NutchConfiguration.
• SolrDeleteDuplicates behov for at klone SolrRecord objekter.
• Native Hadoop libs ikke tilgængelige via maven.
• Adskil Byg og runtime miljøer.

Hvad er nyt i version 1.5:

• Denne version indeholder flere forbedringer, herunder opgraderinger af flere store komponenter, herunder Tika 1.1 og Hadoop 1.0.0, forbedringer LinkRank og WebGraph elementer samt en række nye plugins, der dækker sortlistning, filtrering og parsing at nævne nogle få.

Hvad er nyt i version 1.4:.

• Tilføjet Solr 4x (trunk) eksempel skema
• Tilføjet "/ runtime" at svn ignorere.
• Application / xhtml + xml skal være slået til plugin.xml af parse-html; tillade flere mimetyper for plugin.xml.
• Fast parse-tika og parse-html at bruge relativ URL opløsning pr RFC-3986.
• Opgraderet til Tika 0,10. BEMÆRK:. Tika nye RTF parser kan ignorere mere tekst i misdannede dokumenter end tidligere - se TIKA-748 for detaljer
• Tilføjet Sonar mål for Ant build.xml.
• Opgraderet SolrJ til version 3.4.0.
• Ant PMD mål er brudt.
• Opgraderet Solr skema til version 1.4.

Hvad er nyt i version 1.3:

• Denne version indeholder flere forbedringer (forbedret RSS parsing support, strammere integration med Apache Tika, ekstern parsing support, bedre identifikation sprog og en størrelsesorden mindre kilde release tarball -!. kun omkring 2 MB)

Hvad er nyt i version 1.2:.

• Opret indeks-mere plug-in konfigurerbar
• Konfigurerbare fil protokol overordnede bibliotek crawling.
• Timeout for Parser.
• Website stadig Lucene mærkevarer.
• Prøv igen interval i crawl dato er sat til 0.

Hvad er nyt i version 1.0:.

• Tillad parsere at returnere flere Parse objekter
• Fjernet redundant commons-logging krukke fra ontologi plugin.
• Bug i SegmentReader forårsager uendelig løkke.
• Scoring filter bør fordele score for alle outlinks på én gang.
• Reducer antallet af advarsler i nutch kerne.