PorticanBot
PorticanBot adalah robot milik platform Portican. Toko di Portican memakainya untuk memantau harga produk serupa di toko pesaing yang mereka tambahkan sendiri di panel admin.
Apa yang dibacanya
Hanya halaman produk publik yang diizinkan situs untuk robot di robots.txt, dalam grup PorticanBot atau *, sesuai RFC 9309 dan aturan kecocokan terpanjang. Dari halaman itu ia hanya mengambil nama, harga, ketersediaan, dan ukuran produk dari data terstruktur JSON-LD, microdata, dan OpenGraph.
Apa yang tidak dilakukannya
Ia tidak login, tidak mengisi formulir, tidak menerobos CAPTCHA maupun perlindungan anti-robot, dan tidak menjalankan JavaScript.
Seberapa sering
Ke satu situs ia hanya mengirim satu permintaan dalam satu waktu, menunggu setidaknya 5 detik di antara permintaan, dan bekerja pada malam hari. Ia mematuhi Crawl-delay dan melewati situs yang nilainya lebih dari 60 detik. Jika mendapat respons 429 atau 503, ia berhenti dan kembali lagi nanti.
Cara menghentikannya
Di berkas robots.txt situs Anda, tambahkan grup untuk PorticanBot yang melarang akses ke seluruh situs:
User-agent: PorticanBot
Disallow: /Reservasi hak atas penambangan teks dan data
PorticanBot menghormati reservasi yang dinyatakan di header atau di tag meta tdm-reservation: 1 (TDMRep), sesuai § 51c undang-undang hak cipta Slovakia dan Pasal 4 Direktif Uni Eropa 2019/790.
Kirim pertanyaan tentang robot ini ke info@portican.com.