PorticanBot
PorticanBot est le robot de la plateforme Portican. Les boutiques sur Portican s’en servent pour suivre les prix de produits similaires chez des concurrents qu’elles ajoutent elles-mêmes dans l’administration.
Ce qu’il lit
Uniquement les pages produits publiques que le site autorise aux robots dans robots.txt, dans le groupe PorticanBot ou *, selon la RFC 9309 et la règle de la correspondance la plus longue. Il n’en extrait que le nom, le prix, la disponibilité et les dimensions du produit, à partir des données structurées JSON-LD, microdata et OpenGraph.
Ce qu’il ne fait pas
Il ne se connecte pas, ne remplit pas de formulaires, ne contourne ni CAPTCHA ni protection contre les robots, et n’exécute pas de JavaScript.
À quelle fréquence
Il n’envoie qu’une requête à la fois par site, attend au moins 5 secondes entre deux requêtes et travaille la nuit. Il respecte Crawl-delay et laisse de côté les sites dont la valeur dépasse 60 secondes. Sur une réponse 429 ou 503, il s’arrête et revient plus tard.
Comment l’arrêter
Ajoutez au fichier robots.txt de votre site un groupe pour PorticanBot qui interdit l’ensemble du site :
User-agent: PorticanBot
Disallow: /Opposition à la fouille de textes et de données
PorticanBot respecte l’opposition exprimée dans l’en-tête ou dans la balise meta tdm-reservation: 1 (TDMRep), conformément au § 51c de la loi slovaque sur le droit d’auteur et à l’article 4 de la directive 2019/790.
Pour toute question sur le robot, écrivez à info@portican.com.