全部文章 · 文章
Visa AI购物基准测试:42.8%的AI购物测试未通过,仅34.2%的案例在三次尝试中都满足消费者需求
分享: WhatsApp · Telegram · X · Facebook · LinkedIn · Email
AI购物代理:仅有34.2%的测试案例连续三次通过
Visa对来自12家实验室的22个AI模型进行了购物测试。42.8%的测试运行未能通过,而更值得关注的是,只有34.2%的案例连续三次全部通过。
42.8%反映的是失败率,34.2%揭示的才是可靠性问题。
2026年11月5日,Visa发布了 Visa Agentic Commerce Benchmark(Visa智能代理商务基准测试),对来自12家实验室的22个AI模型进行了测试,涵盖15种购物场景,包括电视、笔记本电脑和个人护理电器。

对于正在为AI代理购物做准备的商家来说,这一区别非常重要。AI代理一次选对产品,并不意味着它能够持续做出正确的购买决策。
来源:Visa,Visa Agentic Commerce Benchmark,2026年11月5日
Visa究竟测试了什么?
这并不是简单地测试AI能否找到商品或完成购买。
Visa的基准测试主要评估两项能力:
- 理解消费者需求: AI必须通过对话,找出测试场景中设定的全部购买要求,包括消费者一开始没有主动提供的信息。
- 做出正确决策: AI必须选择符合这些要求的产品;如果没有合适的商品,则应该放弃购买。
只有同时满足这两个条件,一次测试才算通过。
以Visa的电视购物场景为例,消费者最初只提供了部分信息。AI需要通过进一步提问,了解预算、格式兼容性、HDR10+支持情况以及游戏需求,然后才能选择产品。
找到一台看起来合适的电视还不够。AI必须能够确认产品为什么符合消费者的实际需求。
三个数字揭示了AI购物的可靠性差距
42.8%: 测试运行失败
在所有测试中,整体通过率为57.2%。表现最好的模型通过率达到82.2%,而表现最差的模型只有28.9%。
34.2%: 三次测试全部通过
每个模型在每种购物场景下都有三次测试机会。然而,只有34.2%的案例能够连续三次全部通过。
这才是更值得关注的可靠性信号。一个模型可能第一次正确理解消费者需求并选出合适的产品,但在重复执行同一任务时却再次失败。
54%: 失败的测试仍然以购买告终
超过一半的失败测试最终仍然导致AI做出购买决定。
Visa指出,这可能是因为AI推荐的产品不符合已经确认的要求,也可能是因为AI没有充分了解消费者的全部需求。
这意味着,AI不仅可能选错产品,还可能在信息不足时没有意识到自己应该停止购买。
提出正确的问题,比单纯使用更昂贵的模型更重要
Visa发现,模型发现隐藏购买需求的能力与测试表现之间存在明显关联。
| 模型分组 | 测试通过率 |
|---|---|
| 最擅长发现隐藏购买因素的5个模型 | 70.2% |
| 发现隐藏购买因素最少的5个模型 | 44.4% |
| 单次运行成本最高的5个模型 | 67.1% |
| 单次运行成本最低的5个模型 | 50.2% |
这些结果表明,充分了解消费者的真实需求,是AI成功完成购物任务的重要组成部分。
成本更高的模型平均表现更好,但能否发现消费者尚未明确表达的购买要求,同样会显著影响测试结果。
需要注意的是,这些数据反映的是测试中的相关性,并不能证明只要增加提问次数,就一定能提高购物准确率。
Shopify商家应该关注什么?
Visa测试的是AI模型,而不是Shopify商店。此次基准测试并未评估商品详情页质量、商品目录结构、产品数据Feed或商家的结账系统。
但测试结果提出了一个值得商家思考的问题:
AI代理能否找到足够可靠的商品信息,从而判断某件商品是否真正符合消费者的需求?
在电视购物场景中,兼容性、HDR10+支持和游戏功能都是具体的产品属性。这些信息不能仅靠笼统的营销描述来确认。
商家可以重点检查三个方面:
商品规格信息
明确列出影响购买决策的重要属性,例如兼容性、尺寸、支持的格式、材质、使用条件及其他关键规格。
结构化商品数据
确保商品详情页、产品变体、Metafields和Catalog Feed中的属性保持一致。如果同一项规格在不同位置出现冲突,AI就可能难以判断哪一项才是准确的信息。
商品信息缺口
尝试站在AI购物助手的角度思考:在推荐商品之前,它需要向消费者提出哪些问题?如果这些问题无法从已经发布的商品信息中找到答案,说明商品目录可能缺少重要数据。
这些建议是根据基准测试中对需求识别能力的要求提出的实际建议,并非Visa直接针对Shopify商店进行的测试结论。
AI购物仍面临消费者信任问题
模型可靠性问题,也反映了消费者对AI购物的信任差距。
根据Visa于2026年9月发布的Trust Index,72%的美国消费者曾使用过AI助手,但只有23%信任生成式AI能够代表自己处理支付交易。
消费者可能愿意使用AI了解和比较商品,但这并不意味着他们已经准备好将购买决策权完全交给AI。
Visa表示,未来将增加更多购物场景和商品类别,并进一步扩展测试范围,纳入结账、支付和订单提交环节。这些环节尚未纳入第一轮测试。
商家现在可以做什么?
这项测试并不意味着Shopify商家现在就需要为AI代理重新构建结账系统。
更实际的第一步,是检查现有商品目录能否清楚传达足够的信息,让AI判断产品是否符合消费者的需求。
- 选择一个高度依赖产品规格或兼容性的商品类别。
- 访问Visa Payments Frontier,查看基准测试中的AI购物过程回放。
- 记录AI在做出正确推荐之前需要提出哪些问题。
- 检查商品详情页和结构化目录数据是否清晰、一致地回答了这些问题。
AI代理商务的下一阶段,不只是让AI找到更多商品,而是让它真正理解消费者的需求、识别正确的产品,并且能够持续做出可靠的购买决策。