OpenAI 等四家 AI 公司采用统一抓取退出标准

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，让发布方在 robots.txt 中写入共享 policy token，一次性选择退出 AI 抓取，无需再分别向各家 AI 公司设置偏好。该标准由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出。 各家的落实进度不同：Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在“未来数月”内实施。Microsoft 还将提供更细粒度的控制，允许发布方分别选择退出 AI 训练或 AI grounding；Microsoft 称，无论网站设置何种偏好，网站仍会出现在 Bing 搜索结果中。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。