articleLobstersweb-crawler · crawl-directives
Amazonbot is finally respecting robots.txt
Affirme qu'Amazonbot respectera robots.txt et analyse les implications pour les sites et scrapers, avec une remarque personnelle sur Anubis.
publié 14 MAI 2026★★★★★
Lire la sourcexeiaso.net/notes/2026/amazonbot-respecting-robots-txt/
[*] Ouvre dans un nouvel onglet · pas de tracking côté Lantern
Extrait · ingestion Lantern
Affirme qu'Amazonbot respectera robots.txt et analyse les implications pour les sites et scrapers, avec une remarque personnelle sur Anubis.
Extrait automatique · ~140 caractèresvoir la source complète →
- Source
- Lobsters
- Ingéré
- 14 MAI 2026 · 08:06
- Score édito
- 3.0 / 5