OpenAI 将遵守共享 robots.txt 训练偏好信号
先了解这件事
OpenAI 宣布将遵守一种共享的 robots.txt 信号，帮助网站运营者向参与该机制的提供商传达其 AI 训练偏好。OpenAI 称，这一信号会在“coming months”内实施。 该信号以“policy token”形式写入网站的 robots.txt 文件，由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出。据 The Verge 报道，Google、Microsoft 和 Anthropic 也表示将采用，发布方可一次性表达退出意愿，不必逐家设置。目前 Anthropic 已率先采用，Google 和 Microsoft 计划于明年支持。Microsoft 还将提供更细粒度的控制，可分别退出 AI 训练或 AI grounding，即把 AI 模型指向经过验证的信息源以减少幻觉的过程；Microsoft 称无论网站设置何种偏好，它们仍会出现在 Bing 的搜索结果中。 据品玩援引 mashdigi 的说法，该信号仅表达“用途偏好”，不控制爬虫访问行为，也不影响网站在搜索引擎中的收录与排名；机制属自愿性约定，对未参与厂商无约束力，且不追溯已抓取的历史数据。
AI 根据报道生成 · 15 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- 品玩OpenAI、谷歌、微软与Anthropic共同支持robots.txt统一AI训练退出标记
据 mashdigi 报道，OpenAI、谷歌、微软与Anthropic宣布共同支持一项AI训练偏好信号，网站可在 robots.txt 中用统一标记表达内容是否可用于生成式AI模型训练，无需逐家配置。
- The VergeOpenAI、Google、Microsoft 和 Anthropic 支持用统一标准退出 AI 抓取
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，让发布方可以一次性退出被 AI 抓取。该共享“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，将写入网站的 robots.txt 文件，使发布方不必再逐家设置 AI 训练偏好。
- OpenAI News精选OpenAI 将遵循共享 robots.txt 信号表达 AI 训练偏好
OpenAI 宣布将遵循一种共享的 robots.txt 信号，帮助网站运营者向参与该机制的提供商传达其 AI 训练偏好。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1710月31日 05:00
- 近 24 小时变化
- +125%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。