Grub Next Generation er et distribueret webcrawling systemet (klienter / servere), som er med til at opbygge og vedligeholde fri (som i frihed) indeks for internettet. Det er den enkeltstående, konfigurerbare upload server skrevet i C # (Mono)
Søgning er en del af den grundlæggende infrastruktur af internettet. Og er det i øjeblikket brudt.
Hvorfor er det brudt? Det er brudt af samme grund, at proprietær software altid er brudt: mangel på frihed, manglende fællesskab, manglende ansvarlighed, manglende gennemsigtighed. Her vil vi begynde at ændre alt dette.
Grub startede tilbage i 2000 med et simpelt koncept distribuere en del af søgeprocessen pipeline: kravle. På en måde, vi var lidt forud for vores tid, men vores hensigt så var, hvad den er nu. Vi ønsker at hjælpe fix søgning.
Nu med hjælp af Wikia, community-medlemmer, contributers, og open source-udviklere vor tid er kommet igen. Kom være en del af noget større. Kom hjælpe os med at ændre verden
Hvad er nyt i denne udgivelse:.
- fast bug med ikke slette midlertidige mapper
- noget kode optimering
Hvad er nyt i version 0.9:
- bedre håndtering .pid fil
- fast bug med nedbrud uploaderen på manglende forbindelse til Solr
- bedre uploade .arc filer
- fast bug med stop / genstart server
Hvad er nyt i version 0.8.6:
- opdateret server API
- kontrollere, hvis Oploader værker af .pid fil
- fast bug med nedbrud server på filen notering
- tilføjet informationer om mængde og den samlede størrelse af filer under notering mapper
- ekstra mulighed for deaktivere katalogliste via HTTP
- tilføjet støtte til komprimeringsmetoder: BZip2 og Zip
Hvad er nyt i version 0.8.5:.
- Indstilling server indstillinger via API blev fastsat
- Serveren nu korrekt koder URL'er for HTTP GET-anmodninger.
- Nogle kode optimeringer blev foretaget.
Hvad er nyt i version 0.8.4:
- ekstra mulighed for at arbejde direkte på disken i stedet for at bruge hukommelse
- tilføjede check for indhold type til URL'er i .arc filer
- tilføjet mulighed for at indstille hastighed grænse for upload / downloade
- fast bug med nedbrud server på ugyldig PUT forespørgsel
- noget kode optimering
Hvad er nyt i version 0.8.3:
- fast bug med nedbrud server på modtaget ugyldig .arc fil
- ekstra mulighed for at konfigurere grænsen for max tilladt MB for en URL i .arc filer tilføjet mulighed for at konfigurere størrelsen af good.arc og bad.arc filer
- ekstra mulighed for at forbyde forbindelsen ved IP eller brugernavn
- tilføjede fjernbetjening (konfigurere / stop / genstart)
- tilføjede ClamAV C # wrapper
- noget kode optimering
Hvad er nyt i version 0.8.1:
- fast bug med nedbrud uploaderen på ugyldig HTML META-tag
- fast bug med nedbrud uploaderen på ugyldige data i filen
- fast bug med nedbrud uploaderen på tilslutning til Solr
- fast bug med nedbrud server på ugyldig HTTP statuskode i .arc fil
- fast bug med nedbrud server på tidligt lukket tilslutning
- tilføjede skrive til Solr kun denne sider, der kan konverteres til UTF-8
- tilføjede fjerne alle kontrol tegn fra Solr UpdateXML
Hvad er nyt i version 0.6:
- code oprydning og refactoring
- flytte upload og kontrol .arc filer til separat program
- fast bug med tæller tilsluttede klienter
- fast server svar på ugyldig POST anmodning
- fast bug med nedbrud server på eksemplar ikke eksisterende fil
- fast bug med nedbrud server på ufærdige filer downloade
- fast bug # 377: Connection bliver nulstillet i stedet for lukket efter disk fuld fejl
- tilføjet simple forbindelser log
- tilføjet mulighed for at flytte .arc filer på disk (ikke kun Hadoop)
Hvad er nyt i version 0.5:.
- Dette er den første betaversion
- LZMA kompression support blev tilføjet.
- Serveren API blev udvidet.
- Kontrol rigtigheden af sendte .arc filer blev forbedret.
- Kode optimering blev gjort.
Kommentarer ikke fundet