PorticanBot
PorticanBot je robot platformy Portican. Obchody na Porticane si ním sledujú ceny podobných produktov u konkurencie, ktorú si samy pridajú v administrácii.
Čo číta
Len verejné stránky produktov, ktoré web robotom dovolí v robots.txt, v skupine PorticanBot alebo *, podľa RFC 9309 a najdlhšej zhody. Z nich berie len názov, cenu, dostupnosť a rozmery produktu zo štruktúrovaných údajov JSON-LD, microdata a OpenGraph.
Čo nerobí
Neprihlasuje sa, nevypĺňa formuláre, neobchádza CAPTCHA ani ochranu proti robotom a nespúšťa JavaScript.
Ako často
Na jeden web posiela jednu požiadavku naraz, medzi požiadavkami čaká aspoň 5 sekúnd a chodí v noci. Crawl-delay rešpektuje, web s hodnotou nad 60 sekúnd vynechá. Pri odpovedi 429 alebo 503 prestane a vráti sa neskôr.
Ako ho zastavíte
Do súboru robots.txt na vašom webe pridajte skupinu pre PorticanBot so zákazom celého webu:
User-agent: PorticanBot
Disallow: /Výhrada vyťažovania textu a dát
PorticanBot rešpektuje výhradu v hlavičke alebo v meta značke tdm-reservation: 1 (TDMRep), podľa § 51c autorského zákona a čl. 4 smernice 2019/790.
Otázky k robotovi posielajte na info@portican.com.