articleLobstersweb-crawler · crawl-directives
Amazonbot is finally respecting robots.txt
Affirme qu'Amazonbot respectera robots.txt et analyse les implications pour les sites et scrapers, avec une remarque personnelle sur Anubis.
published MAY 14, 2026★★★★★
Read the sourcexeiaso.net/notes/2026/amazonbot-respecting-robots-txt/
[*] Opens in a new tab · no tracking on Lantern's side
Excerpt · Lantern ingestion
Affirme qu'Amazonbot respectera robots.txt et analyse les implications pour les sites et scrapers, avec une remarque personnelle sur Anubis.
Auto-generated excerpt · ~140 charactersview full source →
- Source
- Lobsters
- Ingested
- MAY 14, 2026 · 08:06
- Editorial score
- 3.0 / 5