
在电商里,LLM 评估指的是测试语言模型能否正确完成真实购物任务:找到合适的商品、与其他商品进行比较,并把它加入购物车。对商店来说,这件事有两个版本。可以测试自己网站上运行的聊天机器人,也可以测试外部 AI 智能体如何对待您的商品。无论人们是 Google 搜索、去 Amazon,还是直接问聊天机器人,AI 现在都会给出带商品的回答,而大多数电商品牌根本不知道怎样才能成为那个被选中的商品。
我的看法是:大多数关于评估的讨论,都是面向造模型的人,几乎不是面向必须通过它卖货的人。如果您在经营一家商店,您不需要给模型打分。您需要知道它为什么选了别人的商品,这就是另一场测试,而真正参加测试的是商店本身。
TL;DR
- 评估购物智能体,意味着给整个闭环打分(搜索、澄清、推荐、加入购物车),而不是只看单条回答。
- 当前研究表明,即使是强模型也会在大量购物任务上失败,所以商品数据承担的工作会比您希望的更多。
- 智能体读取的是您的商品数据源、商品目录和结构化数据,不是首页。缺少标识符、价格含糊不清、规格没有量化,都会让您的商品被直接忽略。
- 对商店经营者来说,真正有用的测试是正面对比:同一个购物者问题,拿您的商品和某个指名竞品对比,并重复多次。
- 修正数据,发布,再跑一次。一次扫描只是快照,一系列运行结果才算证据。
电商中 LLM 评估的两种含义
这个说法涵盖了两项常被混为一谈的工作。
第一种是评估你部署的 LLM:网站上的购物助手,负责回答问题、推荐商品并加入购物车。在这里,模型由你选择,提示词由你控制,每一次对话也都能看到。问题在于,这个助手到底好不好用。
第二种是评估第三方 AI 购物智能体如何对待你的店铺。模型不是你选的,而是消费者选的,而且很多时候消费者自己都不知道。智能体不会浏览你的首页,它会读取商品数据源、商品目录以及商品页上的结构化数据,然后决定把哪个商品展示给消费者。问题在于,你的商品能否在这个过程中被选中。
大多数学术研究关注的是第一种工作,但对第二种同样值得参考,因为它展示了购物任务在被正确评分时应该是什么样子,以及模型会在哪些地方出错。
这些基准测试到底在测什么
Rezolve 的一位研究人员在 RecSys 2026 研讨会发表了一篇论文, 对 12 个模型作为对话式购物智能体进行了基准测试 ,覆盖搜索、澄清需求、推荐到加入购物车的完整流程。研究使用五维评分标准的 LLM 裁判,对 1,200 轮对话(20 个场景,每个运行五次)进行评分,同时结合从对话轨迹中读取的行为指标。评分维度包括意图理解、需求澄清、推荐质量、加入购物车的正确性以及 grounding。这里的 grounding,说白了就是智能体的说法是否与提供给它的商品数据一致。

Algolia 的排行榜则从搜索侧采用了类似视角。每个模型都运行在生产级检索智能体中,并根据 查询改写、工具调用、检索和响应生成进行评分,同时分析响应文本、工具调用和检索到的记录。因此,模型是作为系统的一部分被评估,而不是像答题竞赛选手那样单独打分。
AION 论文在严谨性上更进一步。它构建了一个确定性的购物环境,每次实验中的消费者画像、难度和目标购物车都预先固定,然后测试 8 个开放权重智能体、每个运行 160 次实验,并评估 44 项指标。它的一个关键观点是:最终的通过或失败会掩盖真正的问题。保留工具轨迹和环境状态后,研究人员就能区分动作不足、过度购买、商品属性缺失以及搜索效果差等问题。这四种失败看起来都像“智能体选错了”,但原因完全不同。
EMNLP 2026 Industry Track 的 EComAgentBench 使用了基于真实 Amazon 商品和评论构建的 662 个任务。需求被分散在可见查询、隐藏画像以及脚本化澄清问题中,智能体必须最终确定一个商品。即使是七个模型中表现最好的,也只达到了 总体准确率仅 57.1%,而且当需求从显式信息转向隐藏信息时,结果会进一步变差。
阿姆斯特丹大学的 DeepShop 针对不同难度的购物查询测试 Web 智能体。它的结论是, 简单检索在复杂查询下表现很差,而其他方法则容易在筛选条件和排序偏好上失误.
综合来看,这些论文其实都在表达同一件事,只是说法不同。购物是一个多步骤任务,智能体会以具体且可诊断的方式失败,而一个听起来很自信的模型依然可能选错商品。这跟很多人半夜购物时的状态其实差不多,所以至少机器还算“像人”。
对店铺真正重要的指标
研究人员评估的是模型,商家真正要评估的是结果。比较合理的指标组合大概如下。
智能体对商品描述的准确性。 一篇关于对话式购物助手的期刊论文定义了 价格、库存和功能的商品信息准确率,价格区间准确率,以及功能描述准确率。如果智能体报错价格,或者凭空捏造功能,再高的排序指标也救不回这笔订单。
被选中率。 针对同一个消费者问题反复运行时,智能体有多高概率会选择你的商品而不是竞品?这是店主最关心的数字,而且它是一个概率而不是简单的“是”或“否”,因为模型每次运行的回答都可能不同。
完整对话行为。 Zalando 关于生产环境智能体评估的论文主张 对整个对话进行评分,而不是只评估单轮交互,因为像相关性这样的聚合指标只能告诉你质量发生了变化,却无法说明哪里失败了、该怎么修复。对商家来说,这意味着不要只统计胜率,还要分析失败原因。
不只是准确率,还要看覆盖广度。 一篇关于多目标推荐系统评估的论文指出 只优化准确率,会导致系统在真实环境中的泛化能力很差,因此还需要关注多样性、覆盖率和公平性等指标。对于店铺来说,这意味着要检查整个商品目录,而不是只看五个主推商品。
需要说明的是:这些学术指标都不直接衡量收入。它们告诉你智能体是否“有能力”完成任务,而不是你的银行账户是否真的因此增长。最终还是要结合自己的订单数据一起看。
智能体需要从你的数据中获得什么
我见过最划算的一条评估经验是:智能体比较的是记录,不是页面。
Ecommerce Guide 提到,有四类字段决定了一个商品能否被纳入比较: 稳定标识符(GTIN、MPN 或 SKU)、带货币的当前价格、库存状态,以及区分同系列 SKU 的变体维度。少了任何一项,商品都会被排除在受限比较之外。同一来源还指出,价格必须是一个明确类型的单一数值。像“from $39”这种展示形式,无法让智能体判断它是否符合 60 美元预算,因此商品会被悄悄忽略。
规格参数是另一个薄弱点。数值约束无法与形容词匹配。“轻量”是一种感觉,“1.2 lb”才是一个可比较的数值。而大多数商品目录里,充满了各种“感觉”。
这与我们在审查中看到的情况一致。一家年销售额约 7000 万欧元的烈酒电商平台,其 9,699 个商品中有 88% 存在智能体读取的数据问题。当智能体被问到应去哪里购买该平台销售的两瓶酒时,平台在 20 次回答中被提及的次数为 0。一家瑞典护肤品牌在 6 个国家中,智能体结账能进入支付环节的国家数为 0,原因是配送设置要求填写电话号码。我不会透露这两家店铺的名称。重点是,这两类问题在网站上都看不出来。人类买家不会察觉,智能体却立刻发现并离开,既没有投诉,也没有留下评价。
如果想进一步了解商品页本身如何影响这一过程,可以阅读我们关于 AI 可读商品页 的指南,里面详细介绍了标记方式;而关于 AI 购物智能体如何推荐你的商品 的文章,则讲解了背后的选择逻辑。

如何一步步测试自己的店铺
你不需要研究实验室,只需要一套可重复执行的方法。我会这样做。
- 先写出消费者会问的问题。 挑选 10 到 20 个真实消费者会提出的问题,并加入约束条件:预算、尺寸、使用场景、配送国家等。不要带品牌名,因为消费者通常不会搜索品牌。
- 为每个商品指定一个明确竞品。 智能体是在多个选项之间做选择,所以必须有一个“输给谁”的对象。用你自己搜索该品类时最常出现的竞品即可。
- 多个模型,多次运行。 模型之间会有分歧,同一个模型也会前后不一致。在我们的模拟中,面对同一个商品目录,ChatGPT 选择商品的概率大约是 Claude 或 Gemini 的 3 倍(51.6% 对约 18.5%)。单个模型的判断,不等于整个市场的判断。
- 记录失败原因。 像“竞品提供了 GTIN,而你的商品没有”这样的失败原因,比十张胜率图都有价值。Zalando 关于阅读完整对话的观点,在这里同样适用。
- 修复数据后重新运行。 一次只修改一类问题,比如先改标识符,再改价格,然后改规格,这样才能知道是什么影响了结果。Zalando 的框架采用了 通过重复运行建立基线,并对隔离后的改动进行配对比较,这种逻辑在店铺级别同样成立。
- 测试结账流程,而不只是答案。 推荐成功却在支付阶段失败,就是上面那个护肤品牌的例子。沿着智能体实际会走的路径检查:搜索、购物车、配送、支付。
至于 Google 侧的第 6 步,我们的 UCP Playground 可以让你针对店铺测试 AI 购物智能体。UCP 是 Google 推出的智能体结账开放标准。如今在美国,Google AI Mode 和 Gemini 已经通过 UCP 支持在 AI 回答中直接完成购买。相比之下,ChatGPT 会跳转到店铺自己的结账页面。OpenAI 有 ACP,Google 有 UCP,而 Amazon 选择封闭体系。
如果你想快速了解智能体如何读取网站工具层,还可以使用 免费的 WebMCP 购物检测.
评估网站上的聊天机器人
如果你真正要解决的是第一种情况——也就是自家店铺里的品牌购物助手——那就借鉴这些基准测试的方法。测试多轮对话,而不是一次性提问。检查每个推荐商品及其变体,是否符合消费者表达的需求,以及是否与真实商品数据一致。检查需求在后续追问中是否仍然被保留。还要测试商品缺货时会发生什么。这些正是助手最容易“编造答案”的场景。
电商领域已经有很多 AI 应用案例证明,站内助手在哪些环节真正有价值,而上面的评分标准则能帮助你判断自己的助手是否达到这个水平。
还有一点提醒。再优秀的站内助手,也帮不到那些从未访问你网站的消费者。外部 AI 智能体早在之前就已经做出了选择。因此,前面提到的数据工作优先级高于助手本身。我觉得这个顺序一旦说出来其实很明显,但几乎没人按这个顺序做。
如何长期保持结果可信
模型会变,商品目录会变,竞争对手也会更新商品数据源。三月的分数,几乎无法说明十一月的情况。
把评估当成一个循环。运行检测、分析失败原因、修复数据、发布,再重新运行。不同轮次之间要保持消费者问题一致,否则你比较的就是两场不同的考试。当新增商品线时,也要同步加入对应的问题。
同时也要跟踪真正可观察的数据:分析工具中的 AI 助手访问量,以及你自己的订单数据。在我们的首个试点中,DUA Flavours 来自 AI 助手和直接流量的访问量,从 2026 年 4 月到 7 月增长了 12%。这是访问量数据,不是销售数据,我更愿意明确说清楚,而不是让人误以为它代表销售额。我们的 AI 智能体流量衡量 以及 归因工具 指南,会更详细地介绍测量方法。
为什么我们测试的是店铺,而不是模型
截至 2026 年 10 月,我们已经运行了 36,797 次模拟购买,而它们教会我们最重要的一件事是:问题通常不在模型,而在于商品数据源、商品目录,以及智能体必须使用的结账流程。
这也是 ecentic 专注于店铺本身的原因。我们连接 Shopify、WooCommerce 或商品数据源,让 ChatGPT、Claude 和 Gemini 将每个商品与指定竞品进行比较,并用直白语言说明为什么智能体选择了对方。当你点击 Apply 时,我们会重写标题、描述和结构化数据,并发布到你的店铺中。
在 Shopify 上,我们会把修复结果同步到 Google Merchant Center,并跟踪来自 AI 助手的访问。在 WooCommerce 上,免费的 ecentic 插件允许智能体通过 UCP 搜索、加入购物车并完成结账。而这一部分,普通的商品数据源工具做不到。
我认为,等待模型自己变得更好的店铺,其实是在赌一个自己无法控制的结果。模型当然会持续进步,但它们依然只会读取你的数据。所以,比起等待模型变强,不如先让自己的数据值得被读取。
Xhurian Shaba
先用自己的商品跑第一次测试
想最快看到自己的数据结果,可以先使用免费检测。它会覆盖你的前 10 个商品,无需绑定银行卡,并展示 ChatGPT、Claude 和 Gemini 如何将这些商品与指定竞品进行比较,以及你失败时的具体原因。

接下来,你可以在我们的 价格页面 查看各套餐:Compete 每月 $14.90,支持最多 100 个商品;Scale 每月 $44.90,支持最多 1,000 个商品,并提供一键修复;Dominate 每月 $149,额外包含 Google Merchant Center 同步和智能体结账配置。另有按使用付费方案,按 AI 归因订单收取 3% 费用,每月上限 $500。如果你想先了解商品信息优化部分,可以查看 AI 商品信息优化。我们也提供 Shopify 和 WooCommerce 的平台页面。
FAQ
什么是电商中的 LLM 评估?
它是对语言模型处理购物任务能力进行评分的过程,包括搜索、需求澄清、商品推荐以及加入购物车等。好的评估会覆盖完整对话,并将回答与真实商品数据进行核对。对于商家来说,它还意味着评估外部 AI 智能体如何对待你的商品。
如何知道 AI 助手是否推荐我的商品?
使用带预算和约束条件的真实消费者问题,在多个模型和多轮运行中进行测试。统计你的商品相对于指定竞品被选中的频率,并记录未被选中的原因。单个聊天机器人的一次回答只是个例,重复运行得到的结果才是测量数据。
AI 智能体需要哪些商品数据?
至少需要稳定标识符,例如 GTIN、MPN 或 SKU;带货币的当前价格,而且必须是单一数值;库存状态;以及明确的变体选项。规格参数应当是可测量的数值,而不是形容词。缺少这些信息时,智能体无法比较你的商品,通常会直接忽略。
如何将 AI 数据集成到电商店铺中?
先从商品数据源和商品页上的结构化数据开始,因为智能体读取的正是这些内容。ecentic 可以连接 Shopify、WooCommerce 或商品数据源,当你点击 Apply 后,会重写标题、描述和结构化数据,并发布到店铺中。之后再重新运行测试,查看发生了哪些变化。
基准测试分数能说明我的店铺表现吗?
不能直接说明。基准测试展示的是模型在购物任务中的整体表现,而 EComAgentBench 的最高分仅为 57.1%,说明错误空间依然很大。最终结果取决于你的商品目录和竞品,因此应该测试它们本身。
探索相关主题