robots.js 0.9.4

Kan anvendes til at trække sig ud af data fra filen robots.txt og giv den til andre programmer eller statistik værktøj.Vil uddrag target URL, årsag til adgang og status data Hvad er nyt i denne udgivelse:. Håndterer http (s ) anmode fejl. Hvad...