urlclean

urlclean indeholder følgende funktioner:
- At følge en http omdirigering,
- At følge en HTML Meta omdirigere,
- At fjerne Urchin og Facebook tracker webadresseparametre
- Der kombinerer alle disse at unshorten og løse forskellige webadresser
Prøv det fra kommandolinjen:
& Nbsp; python -m urlclean
Indhold:
Indeks og tabeller
- Index
- Modul Indeks
- Søgning Side
Dokumentation for kodeksen
urlcleaner et modul, der løser omdirigerede webadresser og fjerner sporingswebadresse params
urlclean.weedparams (URL)
& Nbsp; fjerner Urchin Tracker og Facebook overvågningssystemer params fra webadresser.
& Nbsp; args:
& Nbsp; url (str): URL'en til krat af grimme params
& nbsp; Retur:
& Nbsp; (str). Afkastet rengøres url
urlclean.httpresolve (url, ua = Ingen, proxyhost = 'localhost', proxyport = 8118)
& Nbsp; løse en omdirigering af en HTTP-anmodning.
& Nbsp; args:
& Nbsp; url (str): Den url til at følge en omdirigering
& Nbsp; ua (fn): En funktion returnerer en streng User Agent (valgfrit)
& Nbsp; proxyhost (str): http proxy server (valgfrit)
& Nbsp; proxyport (int): http proxy server port (ekstraudstyr)
& Nbsp; Retur: (str, httplib.response). Afkastet løst url, og
& Nbsp; svaret fra http forespørgsel
urlclean.unmeta (url, res)
& Nbsp; finder nogen meta omdirigerer en httplib.response objekt, der har tekst / html som indhold-type.
& Nbsp; args:
& Nbsp; url (str): Den url til at følge en omdirigering
& nbsp; res (httplib.response): en http.response objekt
& Nbsp; Retur: (str). Afkastet løst url
urlclean.unshorten (url, cache = Ingen, ua = Ingen,>> ** <> **