美国知名数字与平面媒体集团People公司（原Dotdash Meredith）首席执行官尼尔·沃格尔近日公开指控谷歌存在双重利用网络爬虫的争议行为。这家拥有《人物》《美食与美酒》等40余个知名品牌的出版集团发现，谷歌通过同一套爬虫系统同时为搜索引擎和AI产品研发抓取内容，导致出版商面临内容被"无偿使用"的困境。

沃格尔在《财富》科技头脑风暴大会上透露，谷歌的爬虫系统既承担着为搜索引擎索引内容的传统职能，又直接服务于AI模型训练。这种"一虫两用"的模式使得出版商内容在为搜索引擎带来流量的同时，也被无偿用于开发竞争性AI产品。"本质上这就是内容盗窃，"沃格尔强调，"我们不反对技术进步，但拒绝成为他人创新的免费原料供应商。"

数据对比显示，谷歌搜索为People公司带来的流量占比已从三年前的65%骤降至当前的20%出头。更令人震惊的是，沃格尔透露数年前该比例曾高达90%。尽管公司通过多元化发展保持了营收增长，但这种流量依赖度的急剧变化仍引发行业对搜索引擎与内容创作者关系重构的关注。

面对AI时代的挑战，People公司已采取技术防御措施。通过与网络基础设施服务商Cloudflare合作，该公司成功屏蔽了未支付授权费用的AI爬虫，此举立即引发多家大型语言模型开发商的主动接洽。沃格尔特别指出，与OpenAI的合作模式证明"正当行事的企业"完全可以通过商业谈判达成共赢，目前已有数家未具名科技巨头进入实质性谈判阶段。

但谷歌的特殊地位使得出版商陷入两难。沃格尔坦言，完全屏蔽谷歌爬虫将导致失去剩余20%的搜索引擎流量，而谷歌拒绝拆分爬虫系统的态度使其成为"故意采取不正当行为的典型"。这种判断得到电子通讯服务商Ankler Media首席执行官贾尼斯·明的支持，她直言科技巨头长期存在"内容盗窃"行为，其公司同样采取了AI爬虫屏蔽策略。

作为技术解决方案提供方，Cloudflare首席执行官马修·普林斯在会议中预测，行业变革可能由新法规推动。他质疑依赖传统版权法对抗AI企业的有效性，指出当前法律框架下"高度衍生性内容"往往受"合理使用"原则保护，这解释了为何Anthropic等企业能在版权诉讼中占据优势。不过普林斯也预言，谷歌等搜索巨头将在未来12个月内被迫为AI训练内容支付授权费用。

这场争议折射出数字内容产业的结构性矛盾：搜索引擎流量分配机制与AI技术发展需求形成直接冲突。当被问及出版商是否应完全拒绝AI合作时，贾尼斯·明坦言尚未看到合作带来的实质性收益。而沃格尔的实践则显示，通过技术手段建立内容使用门槛，可能成为重塑数字内容价值链的关键转折点。