OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准

OpenAI、谷歌、微软与Anthropic近期共同宣布，将采纳一项全新规范，允许内容发布方通过该机制选择禁止AI对其网站内容进行数据采集。借助这一控制手段，内容发布方可一次性向多家AI企业统一表明其在AI模型训练方面的内容使用倾向，无需为每家公司逐一设置规则。

该规范由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出，并计划嵌入网站的robots.txt文件中。

长期以来，robots.txt文件被用于告知网络爬虫哪些网站内容可被抓取、哪些应被禁止，适用范围涵盖搜索索引、网页存档及AI模型训练。目前，网站必须分别向每家AI企业单独声明其AI训练相关内容的使用偏好。在此背景下，各类AI爬虫持续抓取网站内容、将网页素材输入AI模型训练，令内容发布方感到困扰。

据了解，当前网站需向每家公司单独说明训练偏好，新规范旨在简化这一流程。Anthropic已率先采纳，OpenAI计划在未来数月内实施，谷歌与微软则预计于明年支持。Meta发言人Andy Stone也表示支持建立此类通用信号，但未透露具体执行时间表。用户若想获取更多相关信息，可通过爱游戏下载了解详情。