OpenAI、谷歌、微软与 Anthropic 联手推出统一 AI 训练抓取退出信号

OpenAI、谷歌、微软与 Anthropic 于 2026 年 10 月 30 日宣布,将共同支持 robots.txt 中的统一信号,让网站一次设置即可拒绝多家公司的 AI 训练抓取,不必再为每家公司单独写规则。

AI训练AnthropicGoogle

四家最大的 AI 公司达成一致,将支持一个统一的信号,让网站发布者可以一次性拒绝内容被抓取用于训练 AI 模型。OpenAI、谷歌、微软与 Anthropic 于 2026 年 10 月 30 日宣布支持 robots.txt 中的这一通用偏好,把过去每家公司各一套的屏蔽规则,变成一条所有参与方都认的标准指令。

这一变化之所以重要,与 robots.txt 目前的用法有关。今天,网站想屏蔽 AI 训练抓取,必须为每一家公司、甚至每家公司的每一个爬虫单独加一条规则。新方案用一条记录代替这一堆规则,所有参与公司都会识别它。该信号定义在一份提交给互联网工程任务组(IETF)的草案中,标题为「Machine-Readable Training Preference Signal」,作者是 Anthropic 的标准技术负责人 Kevin Kelley,草案日期为 2026 年 10 月 30 日,建立在 IETF AI Preferences 工作组的工作之上。据相关报道,该共享标识名为 usage_ai-training。

OpenAI 表示,将在 robots.txt 中支持这一通用信号,供网站表达其内容用于基础生成式 AI 训练的偏好。公司计划在未来几个月内实施该信号,届时将公布更多实施细节。OpenAI 同时强调,新信号不会取代其已有的爬虫控制措施,现有控制将继续适用并得到尊重。

微软给出了最详细的落地计划。公司表示将从 2027 年 2 月 1 日起支持共享的 AI Training 偏好,并将其扩展到页面级,让发布者可以针对单个页面覆盖 robots.txt 的设置。微软还新增了一个独立的 AI Grounding 偏好,针对另一种内容使用场景:模型为回答用户问题而访问页面、而非收集训练数据。除了 Disallow(禁止 grounding 使用)之外,微软还引入了更精细的 DisallowExtended,只允许 grounding 用于微软自营体验,如 AI Mode、AI Overview、Copilot 和 Microsoft 365,不包括微软向第三方提供的 grounding 服务,如 Web IQ 以及通过 Foundry API 的 grounding。微软表示,这些新偏好将取代现有的 NoArchive 和 NoCache 标签,且选择它们不会影响 Bing 搜索结果的收录资格。

据此次宣布的相关报道,Anthropic 已经开始支持该信号,成为四家中最先行动的一家。谷歌计划在 2027 年内实施支持。据 SiliconANGLE 报道,Meta Platforms 对这一想法表示支持,但尚未承诺实施。

这项协议的适用范围有明确边界,发布者需要仔细阅读。该共享信号只适用于未来生成式 AI 模型的训练,不覆盖只执行非生成式任务的模型,也不会阻止爬虫出于其他目的抓取网站。在发布者更改设置之前,抓取默认仍被允许,微软如是说。该提案本身目前仍是一份 IETF 个人草案,属于标准化早期的阶段:已有文档可供审阅,但尚未被采纳为正式标准。

这一信号背后的工作并不新鲜。微软指出,此次宣布建立在 IETF AI Preferences 工作组一年多的努力之上,目标是形成全球统一的 AI 偏好实践,该工作组仍在向最终标准推进。微软也是最早提供 AI 训练与 grounding 发布者控制的公司,早在 2023 年就推出了 NoArchive 和 NoCache 标签。如今这些标签将被更清晰的训练与 grounding 偏好取代,说明发布者选择权的工具正在快速演进。

核验机制仍是悬而未决的问题。各公司尚未公布统一的机制,供发布者检查每个爬虫是否真正执行了其偏好,而该标识的技术规范在公开报道中也只有轮廓。早期采用该标识的发布者,实际上依赖各家公司忠实实施,并依赖 IETF 流程把一份个人草案变成小型模型开发者也能采用的稳定标准。

在此期间,给发布者的实际建议没有变化:现有的各家控制措施仍然有效,新的共享标识是补充而非替代。对 AI 行业而言,这次联合宣布是在一个争议话题上罕见的一致行动,也表明围绕训练数据的争夺,正从法庭与爬虫屏蔽名单,转向共享标准。