#web-crawling

Hacker Newsで注目されたのは、Anna's Archiveの新しい`llms.txt`運用方針。CAPTCHA前提の通常巡回ではなく、Gitリポジトリ、torrent、JSON APIなどの構造化経路を使うようLLMクローラに促している。