GemSpace

全部文章 · 文章

OpenAI 开始向 Cloudflare 付费,让 AI 爬虫更高效地读取网页

AI 公司正在开始为更高效地访问互联网付费。OpenAI 已经向 Cloudflare 付费,以获取网页更新信号,让自己的爬虫知道哪些页面发生了变化,而不必反复下载没有更新的网页。

作者 Janie Nguyen · · 9 分钟阅读

分享: WhatsApp · Telegram · X · Facebook · LinkedIn · Email

这一变化反映出一个更大的趋势:随着 AI Agent 消耗越来越多的网络内容,围绕网页抓取、信息更新和数据访问的基础设施,正在逐渐成为一门商业生意。

对于 Shopify 商家而言,值得关注的不只是 AI 能否读取商品页面,而是 AI 获取的商品信息是否准确、及时、结构清晰,能否真正影响消费者的产品发现和购买决策。

OpenAI 为网页更新信号付费,而不是反复下载页面

在 Cloudflare 2026 年第三季度财报电话会议上,CEO Matthew Prince 确认,OpenAI 正在为 Cloudflare 提供的网页更新信息付费。

这一机制解决的是传统网页抓取中的一个效率问题。

AI 爬虫可能反复访问同一家餐厅的网站,检查菜单或价格是否发生变化。但大多数情况下,网页内容并没有任何更新。这意味着大量重复请求,也带来了不必要的带宽和计算成本。

Cloudflare 可以在网页发生变化时提供更新信号。例如,一家餐厅调整了菜单价格,OpenAI 就能收到页面已更新的提示,并重新抓取最新内容。

这样,爬虫便可以把资源集中在真正发生变化的页面上,而不是反复下载没有变化的内容。

这一机制带来两方面的价值:

  • OpenAI 可以降低收集和更新网页信息的成本。
  • 使用 Cloudflare 服务的网站,可以更高效地将最新信息提供给 AI 系统。

Prince 将这一合作视为 Cloudflare 已经从下一代互联网基础设施中获得收入的案例之一。

不过,他没有披露 OpenAI 支付的具体金额,也没有公开双方协议的完整商业条款。

来源:Search Engine Journal - Cloudflare CEO Likens AI Agent Optimization to a New Version of SEO · Cloudflare 2026 Q3 财报电话会议记录。

下一步:根据 AI Agent 的访问目的决定收费

网页更新信号只是这一变化的一部分。Prince 预计,未来网站和基础设施提供商还会发展出面向 AI Agent 的微支付模式。

他举了一个例子,说明为什么对所有访问请求采用统一收费标准可能行不通。

假设一个 AI Agent 为用户寻找餐厅,它访问了 1,000 家餐厅的网站,读取了所有菜单,但最终只推荐其中一家。其余 999 家网站承担了内容访问成本,却没有因此获得客户。

Prince 认为,Agent 是否愿意说明自己的访问目的,可能会影响最终收费。

Instead, Cloudflare could actually give them hints when a page had changed, when a menu price had updated, when anything had happened, and then they could get the freshest data, and they could actually crawl that. That helps OpenAI save money, and that actually helps the Cloudflare customers get the freshest data to them and make sure that it does not waste a ton of resources. I think that is a clear way where we are already seeing that, and that has helped. OpenAI is paying for that, and a lot of other companies in the space, I think you will see do that as well.

如果 Agent 能清楚说明用户正在寻找什么,网站可能降低访问费用,甚至允许免费访问,因为这次访问有机会带来精准广告或商业转化。

例如,一个正在为四口之家规划夏威夷旅行的 Agent,对旅游企业而言可能具有明确的商业价值。它的访问不只是一次普通的爬取请求,也代表着潜在的购买意向。

这背后的逻辑是:并非所有 AI 访问都具有相同的商业价值。

大规模收集信息的 crawler,与真正帮助消费者寻找商品、作出购买决定的 agent,是两种不同类型的访问流量。

需要强调的是,这仍然是 Prince 对未来模式的预测,并非已经确立的行业收费标准。但它说明,未来 AI 访问的经济价值,可能越来越取决于访问目的及其潜在商业价值。

来源:Cloudflare 2026 Q3 财报电话会议记录。

AI 爬取正在形成新的变现基础设施

Cloudflare 已经开始围绕这一新兴市场开发相关产品。

Pay Per Crawl 探索的是网站向 AI 爬虫收取内容访问费用的机制,目前仍处于 Private Beta 阶段。

此外,Cloudflare 于 2026 年 9 月 30 日推出 Monetization Gateway 的封闭测试版本。网站所有者可以为 AI Agent 访问网站、API、数据集和 MCP 工具设置付款要求。

这些产品指向一种正在形成的基础设施模式:访问权限、付款要求,以及 AI Agent 的身份或访问目的,可能被整合到同一个交互流程中。

不过,市场仍处于早期阶段。这些产品尚未成为普遍适用的支付标准,也不意味着所有网站现在都能立即通过 AI 流量获得收入。

来源:Cloudflare Pay Per Crawl · Cloudflare Monetization Gateway – 2026 年 9 月 30 日。

这对 Shopify 商家意味着什么?

对 Shopify 商家而言,当前更值得关注的不是立即向 crawler 收费,而是了解自己的商品信息如何被 AI 系统访问、更新和理解。

Shopify 已经在网络层直接管理其平台上商店的 bot 流量,商家不需要自行配置这一层基础设施。

在商品数据层面,Shopify Catalog 是 ChatGPT、Microsoft Copilot 等 Agentic Storefronts 获取符合条件商品信息的主要途径。

这些数据包括商品标题、描述、图片、价格和库存情况。

Shopify 还提供了独立的 AI 渠道访问和 crawler 权限管理设置。需要特别注意的是,通过 robots.txt 阻止 AI crawler,并不意味着 Shopify Catalog 中的商品信息也会自动停止向已启用的 AI 渠道提供。

这是两个不同的机制:直接抓取独立站网页,与通过 Shopify Catalog 获取结构化商品数据,并不是同一件事。

来源:Shopify – Catalog and product discovery for agentic storefronts · Shopify – Data sharing and privacy for agentic storefronts。

AI 商品发现已经开始反映在电商订单中

虽然 AI crawling 的基础设施和收费模式仍在发展,但 AI 辅助商品发现已经开始带来可以量化的电商交易。

Enalitica 对其监测的线上商店最近超过 100,000 笔订单进行分析,数据截至 2026 年 11 月 7 日,发现:

  • 增长约 4 倍: 同一批商店的 AI 来源订单占比,相比上一年同期增长约 4 倍。
  • 接近 1%: 在典型商店中,AI 助手带来的订单占比已经接近 1%。
  • 约 90% 为新客户: AI 推荐订单中,近九成来自首次购买的客户,而全部订单中这一比例约为七成。
  • ChatGPT 占主导: 每 100 笔 AI 推荐订单中,约有 95 笔来自 ChatGPT。
  • 归因缺口: GA4 只将 41% 的这些订单归入 AI Assistant 渠道。

这些发现说明,AI 正在成为商品发现渠道,而不仅仅是一个新的访问流量来源。

需要注意的是,这项研究基于 Enalitica 自己监测的商店,并非整个电商市场的全面统计。因此,这些数据更适合用于观察新兴趋势,而不是作为所有商家的行业基准。

来源:Enalitica – ChatGPT Sales in 2026: What the Last 100,000+ Store Orders Show。

商家现在应该关注什么?

目前有三个值得持续关注的方面:

商品数据质量

确保商品标题、描述、规格选项、价格、图片和库存信息准确且一致。结构清晰的数据能让 AI 系统更容易理解和推荐商品。

AI 访问与商品发现

检查 Shopify Catalog 的适用资格以及 Agentic Storefronts 设置。了解开放网络爬取、robots.txt 权限和通过 Shopify Catalog 分发商品数据之间的区别。

订单归因

检查 GA4 的 AI Assistant 渠道,但不要认为它能够记录所有 AI 推荐订单。也要检查 Direct、Referral 和 Unassigned 流量,并比较不同来源带来的首次购买客户比例。

更大的变化值得持续关注。

随着 AI Agent 越来越频繁地访问互联网,帮助它们发现、获取和理解信息的基础设施,正在形成一个独立的商业市场。与此同时,商家也越来越需要确保自己的商品信息准确、可访问,并且容易被 AI Agent 理解。

AI Commerce 的下一阶段,不仅取决于 Agent 能访问哪些网站,更取决于它们能否高效找到正确的信息,并最终将这些信息转化为购买行为。

在 GemCommunity 讨论