reppy 0.1.0
reppy startede af manglende memoization støtte i andre robots.txt parsere stødt, og den manglende støtte til Crawl-forsinkelse og Sitemap i den indbyggede robotparser. matchende Denne pakke understøtter 1996 RFC, samt yderligere almindeligt gennemførte...
