万物坐标 WANVO
数说 WANVO · DATA NOTES

用可复算的数据,说清 AI 到底怎么推荐

我们每天都在问 AI 同一批关于品牌与商品的问题。数说把这些回答按可核对的口径摊开: 样本从哪来、排除了什么、每个数字的分子分母是什么 —— 然后才说结论。

口径先行

每个指标的定义写在代码里的注册表,不在文案里。改口径必须升版本,历史数字不重算, 所以两期之间的差别一定来自数据本身。

等级标注

每条数据都标 L1 / L2 / L3。L2 是机器质检通过但没人逐条审核,只能用来说明口径; 排名与关键商业结论需要 L3,而我们现在一条 L3 都没有。

口径可分

每个数字都标明总体:全量成功回答,还是通过质检的 L2 有效样本。 两套口径给出的长度与解释空间可以差一倍以上,混着说就是误导。

不做排名

在 L2 数据上做「谁第一」是拿机器的排序当结论。数说只披露结构:有多少品牌被提到、 每个品牌分到多少解释空间、不同问法差多少。

我们手里有多少可公开的样本

下面这组数字来自同一次快照(2026-11-14 01:21),不是实时值 —— 对外披露的数必须可留档、可复算, 否则今天看和明天看对不上,就没法核对。

63,662观测记录总数一条观测 = 一次模型调用,最早 2026-10-23
15,463L2 有效样本占全部观测 24.3%,机器质检通过
0L3 人工审核样本人工逐条审核尚未开始,因此不做排名
35 / 754覆盖模型 / 行业分类同一套题面在多模型多轮次上重复提问

本期专题

首批选了两个数据质量相对扎实、但形态完全不同的品类:一个高单价快消,一个高介入耐用品。 放在一起看,能看出「行业」不是决定因素,「问法」才是。

把两个品类放在一起

同一批模型、同一套题面结构、同一个时间窗口。唯一的差别是品类,结果却差了一个量级 —— 这说明「AI 推荐」不是一个统一行为,任何跨行业的统一结论都值得怀疑。

结构对照(每个品类给两组数:全量成功回答 / L2 有效样本,分母见单元格)
结构指标香水
全量 1,180 / L2 541
洗碗机
全量 1,235 / L2 148
有品牌提及的占比96.6% / 100.0%98.9% / 100.0%
中位回答长度71 / 113 字42 / 97 字
不足 80 字的回答占比54.2%(仅全量口径)88.0%(仅全量口径)
单答品牌数(均值)10.06 / 10.8111.65 / 11.71
每品牌分到字数(中位,实测)9.0 / 10.9 字3.5 / 8.6 字
提及集中度(前五)36.2% / 39.8%39.8% / 40.0%

斜杠前是全量成功回答口径,斜杠后是L2 有效样本口径。L2 会筛掉 80 字以下的回答, 因此它给出的长度与解释空间系统性偏高 —— 两个数放在一起,就是为了让这个偏差可见,而不是藏起来。

数据是怎么来的

采集

按消费者真实选购时会问的问题组织题面,每个题面在所有被测模型上跑两轮,一次调用一条观测记录, 保留模型名、题面、原始回答与调用时间。失败、空答、截断一律留痕。

质检

六道确定性校验决定 L2:调用成功、无错误文本、回答不少于 80 字、非占位内容、 模型可识别、模板版本可追溯。同一行数据、同一规则版本,永远得到同样的结论,不调用模型做语义判断。

留档

每期专题对应一份快照文件与指纹,可用仓库里的导出脚本复现。观测库每天都在长, 所以任何数字都必须连着窗口与快照时间一起看。

边界

模型 API 的回答不等于消费者在 App 里看到的真实结果;一次采样不能推断市场整体份额; 提及不等于推荐。这些边界写在每篇专题的「不能说什么」里,不省略。

数说 WANVO · 用可复算的数据说清 AI 怎么推荐|万物坐标 WANVO