OpenAI 10 月 30 日表示将支持一项共享的 robots.txt 信号，让网站运营者向多个参与方表达内容是否用于生成式 AI 训练的偏好。该机制是自愿方案，OpenAI 当时表示将在未来数月实施，现有爬虫控制仍继续有效。
网站偏好信号趋向共享
OpenAI 于 2026 年 10 月 30 日表示，将支持 robots.txt 中的一项共享信号，让网站运营者可以用相同规则向多个参与该倡议的服务提供商表达内容训练偏好。此前，站点通常需要为不同爬虫分别维护规则；通用信号希望减少这种重复配置。
公告描述的是计划中的机制
OpenAI 表示目标是在未来数月实施，并将在落实时补充实现细节。该信号属于自愿机制，不能据此推断所有 AI 服务商都会采用，也不能假设发布公告后所有相关采集行为已经自动改变。OpenAI 同时称现有 robots.txt 爬虫控制不会被替代。
站点管理者仍需确认执行效果
运营者应持续查看各爬虫的实际行为、访问日志和服务商说明，并检查新增信号是否被正确解析。对商业内容、个人资料或授权受限资源，仍应使用明确的访问控制和合同安排。标准化信号可以降低表达偏好的成本，但需要服务商兑现、可观测的执行结果和持续的标准协商。