Spidr

Scriptet kan køre på en enkelt side, website, flere domæner eller endda non-stop.
Spidr er designet til at være hurtig og let at bruge

Funktioner :.

• Gendan spider køen og historie fra en tidligere session .
• Brugerdefinerede User-Agent strenge.
• Brugerdefineret proxy-indstillinger.
• HTTPS support.


• Følger:
• et tags.
• iframe tags.
• frame tags.
• Cookie beskyttede links.
• HTTP 300, 301, 302, 303 og 307 Omdirigeringer.
• Meta-Refresh omdirigeringer.
• HTTP Basic Auth beskyttet links.


• Black-liste eller hvid-liste URL'er baseret på:
• URL ordningen.
• Værtsnavn
• Port nummer
• Fuld link
• URL udvidelse


• Giver call-backs til:
• Hver besøgte Side.
• Hver besøgte URL.
• Hver besøgte URL, der matcher en bestemt mønster.
• Hver oprindelse og bestemmelsessted URI af et link.
• Hver webadresse, der ikke skal besøges.


• Giver action metoder til:
• Pause spidering.
• Spring forarbejdning sider.
• Skip behandling af links.

Hvad er nyt i denne udgivelse:

• Catch OpenSSL :: SSL :: SSLError undtagelser, når indledt HTTPS sessioner.