#AI 爬虫

Cloudflare 为 AI 爬虫加入细粒度控制

Cloudflare 用更细粒度的控制取代了其一刀切式的 AI 机器人屏蔽，覆盖搜索、训练和代理爬虫

Cloudflare 正在把原先针对 AI 爬虫的单一全局拦截政策，改为按用途划分的更细粒度控制。自 2024 年 7 月以来，Cloudflare 客户就可以一键屏蔽所有 AI 爬虫，但新方案把它们分成了三个类别：搜索、训练和代理。搜索对应正常的搜索引擎索引，训练对应用于 AI 模型训练的数据收集，代理则指代替用户执行任务的机器人，例如类似 ChatGPT 的助手。Cloudflare 表示，这些新控制对免费版用户也可用。自 2026 年 9 月 15 日起，带广告的页面将默认阻止训练和代理爬虫，但搜索爬虫仍会被允许。公司认为，广告表明发布者希望页面主要面向人类访问，而不是被自动化系统重复利用。