PorticanBot

PorticanBot ist der Crawler der Plattform Portican. Shops auf Portican beobachten damit die Preise ähnlicher Produkte bei Mitbewerbern, die sie selbst in der Verwaltung hinzufügen.

Was er liest

Nur öffentliche Produktseiten, die eine Website Crawlern in robots.txt erlaubt, in der Gruppe PorticanBot oder *, nach RFC 9309 und der längsten Übereinstimmung. Davon übernimmt er nur Name, Preis, Verfügbarkeit und Abmessungen des Produkts aus den strukturierten Daten JSON-LD, microdata und OpenGraph.

Was er nicht tut

Er meldet sich nicht an, füllt keine Formulare aus, umgeht weder CAPTCHA noch Schutz gegen Bots und führt kein JavaScript aus.

Wie oft

An eine Website schickt er jeweils nur eine Anfrage, wartet zwischen zwei Anfragen mindestens 5 Sekunden und kommt nachts. Crawl-delay beachtet er, eine Website mit einem Wert über 60 Sekunden lässt er aus. Bei der Antwort 429 oder 503 hört er auf und kommt später wieder.

So stoppen Sie ihn

Fügen Sie in die Datei robots.txt Ihrer Website eine Gruppe für PorticanBot ein, die die ganze Website sperrt:

User-agent: PorticanBot
Disallow: /

Vorbehalt gegen Text und Data Mining

PorticanBot beachtet den Vorbehalt im Header oder im Meta-Tag tdm-reservation: 1 (TDMRep), nach § 51c des slowakischen Urheberrechtsgesetzes und Art. 4 der Richtlinie 2019/790.

Fragen zum Crawler senden Sie an info@portican.com.