用可复算的数据,说清 AI 到底怎么推荐
我们每天都在问 AI 同一批关于品牌与商品的问题。数说把这些回答按可核对的口径摊开: 样本从哪来、排除了什么、每个数字的分子分母是什么 —— 然后才说结论。
口径先行
每个指标的定义写在代码里的注册表,不在文案里。改口径必须升版本,历史数字不重算, 所以两期之间的差别一定来自数据本身。
等级标注
每条数据都标 L1 / L2 / L3。L2 是机器质检通过但没人逐条审核,只能用来说明口径; 排名与关键商业结论需要 L3,而我们现在一条 L3 都没有。
口径可分
每个数字都标明总体:全量成功回答,还是通过质检的 L2 有效样本。 两套口径给出的长度与解释空间可以差一倍以上,混着说就是误导。
不做排名
在 L2 数据上做「谁第一」是拿机器的排序当结论。数说只披露结构:有多少品牌被提到、 每个品牌分到多少解释空间、不同问法差多少。
我们手里有多少可公开的样本
下面这组数字来自同一次快照(2026-11-14 01:21),不是实时值 —— 对外披露的数必须可留档、可复算, 否则今天看和明天看对不上,就没法核对。
本期专题
首批选了两个数据质量相对扎实、但形态完全不同的品类:一个高单价快消,一个高介入耐用品。 放在一起看,能看出「行业」不是决定因素,「问法」才是。
把两个品类放在一起
同一批模型、同一套题面结构、同一个时间窗口。唯一的差别是品类,结果却差了一个量级 —— 这说明「AI 推荐」不是一个统一行为,任何跨行业的统一结论都值得怀疑。
| 结构指标 | 香水 全量 1,180 / L2 541 | 洗碗机 全量 1,235 / L2 148 |
|---|---|---|
| 有品牌提及的占比 | 96.6% / 100.0% | 98.9% / 100.0% |
| 中位回答长度 | 71 / 113 字 | 42 / 97 字 |
| 不足 80 字的回答占比 | 54.2%(仅全量口径) | 88.0%(仅全量口径) |
| 单答品牌数(均值) | 10.06 / 10.81 | 11.65 / 11.71 |
| 每品牌分到字数(中位,实测) | 9.0 / 10.9 字 | 3.5 / 8.6 字 |
| 提及集中度(前五) | 36.2% / 39.8% | 39.8% / 40.0% |
斜杠前是全量成功回答口径,斜杠后是L2 有效样本口径。L2 会筛掉 80 字以下的回答, 因此它给出的长度与解释空间系统性偏高 —— 两个数放在一起,就是为了让这个偏差可见,而不是藏起来。
数据是怎么来的
采集
按消费者真实选购时会问的问题组织题面,每个题面在所有被测模型上跑两轮,一次调用一条观测记录, 保留模型名、题面、原始回答与调用时间。失败、空答、截断一律留痕。
质检
六道确定性校验决定 L2:调用成功、无错误文本、回答不少于 80 字、非占位内容、 模型可识别、模板版本可追溯。同一行数据、同一规则版本,永远得到同样的结论,不调用模型做语义判断。
留档
每期专题对应一份快照文件与指纹,可用仓库里的导出脚本复现。观测库每天都在长, 所以任何数字都必须连着窗口与快照时间一起看。
边界
模型 API 的回答不等于消费者在 App 里看到的真实结果;一次采样不能推断市场整体份额; 提及不等于推荐。这些边界写在每篇专题的「不能说什么」里,不省略。