【Cloudflare 细化网络爬虫屏蔽管理，将默认禁止 AI 代理与训练爬虫访问广告页面】负责任的 AI 企业会清晰标记其网络爬虫机器人的用途，但仍然存在相当数量的混合型爬虫：其同时具备多种功能，在此前难以管理。
IT之家
【Cloudflare 细化网络爬虫屏蔽管理，将默认禁止 AI 代理与训练爬虫访问广告页面】负责任的 AI 企业会清晰标记其网络爬虫机器人的用途，但仍然存在相当数量的混合型爬虫：其同时具备多种功能，在此前难以管理。