OpenAI、谷歌、微软、Anthropic共同支持新robots.txt信号：网站一行代码即可拒绝所有大厂拿内容训练AI
· 来源：The Verge
四大AI公司宣布将遵守IETF草案提出的统一“训练偏好”信号，网站在robots.txt里写一条规则，就能同时退出各家的AI训练。
10月30日，OpenAI、谷歌、微软和Anthropic先后宣布，将支持一个统一的robots.txt“策略令牌”（policy token），让网站运营者用一条规则就能对多家AI公司同时表达“不允许拿我的内容训练AI”的意愿。过去，站长需要逐个识别各家爬虫的名字，再分别写禁止规则，费时且容易遗漏。
据The Verge和AI Weekly报道，这个信号来自Anthropic标准技术负责人Kevin Kelley在互联网工程任务组（IETF）提交的个人草案《机器可读的训练偏好信号》，目前还不是正式标准。站长只需写入“User-Agent: __usage_ai-training”加“Disallow: /”，就能整体退出训练，也可以用Allow规则保留例外。
各家落地时间并不一致：Anthropic表示已经开始实施；OpenAI称会在“未来几个月”内支持，原有的GPTBot等爬虫规则继续有效；微软计划2027年2月1日上线，并会额外提供“退出训练”和“退出grounding（实时检索引用）”两种细分选项，且不影响网站在必应搜索中的排名；谷歌则表示将在2027年支持，如果网站用这个令牌退出而没有单独设置Google-Extended，谷歌会按“已禁止Google-Extended”处理。
Meta传播负责人Andy Stone也表态支持建立统一信号，但没有说明Meta是否会遵守。需要注意的是，这一信号只影响今后的抓取，并不会把已经进入训练集的内容移除。对于长期与AI公司在版权问题上拉锯的新闻出版商来说，这是第一次由头部AI公司共同承诺的统一退出机制，后续能否成为IETF正式标准、其他AI公司是否跟进，值得持续关注。