万物坐标 WANVO
数说 WANVO · DATA NOTES

用可复算的数据,说清 AI 到底怎么推荐

我们每天都在问 AI 同一批关于品牌与商品的问题。数说把这些回答按可核对的口径摊开: 样本从哪来、排除了什么、每个数字的分子分母是什么 —— 然后才说结论。

口径先行

每个指标的定义写在代码里的注册表,不在文案里。改口径必须升版本,历史数字不重算, 所以两期之间的差别一定来自数据本身。

等级标注

每条数据都标 L1 / L2 / L3。L2 是机器质检通过但没人逐条审核,只能用来说明口径; 排名与关键商业结论需要 L3,而我们现在一条 L3 都没有。

不做排名

在 L2 数据上做「谁第一」是拿机器的排序当结论。数说只披露结构:有多少品牌被提到、 每个品牌分到多少解释空间、不同问法差多少。

我们手里有多少可公开的样本

下面这组数字来自同一次快照(2026-11-14 01:21),不是实时值 —— 对外披露的数必须可留档、可复算, 否则今天看和明天看对不上,就没法核对。

63,662观测记录总数一条观测 = 一次模型调用,最早 2026-10-23
15,463L2 有效样本占全部观测 24.3%,机器质检通过
0L3 人工审核样本人工逐条审核尚未开始,因此不做排名
35 / 754覆盖模型 / 行业分类同一套题面在多模型多轮次上重复提问

本期专题

首批选了两个数据质量相对扎实、但形态完全不同的品类:一个高单价快消,一个高介入耐用品。 放在一起看,能看出「行业」不是决定因素,「问法」才是。

把两个品类放在一起

同一批模型、同一套题面结构、同一个时间窗口。唯一的差别是品类,结果却差了一个量级 —— 这说明「AI 推荐」不是一个统一行为,任何跨行业的统一结论都值得怀疑。

两个品类在同一窗口内的结构对照(分母已标注)
结构指标香水洗碗机
有效样本 / 采集541 / 1,183148 / 1,236
L2 产出率45.7%12.0%
中位回答长度71 字42 字
清单式回答占比54.2%88.0%
单答品牌密度10.8111.71
每个品牌分到的字数6.63.6
提及集中度(前五)39.8%40.0%

数据是怎么来的

采集

按消费者真实选购时会问的问题组织题面,每个题面在所有被测模型上跑两轮,一次调用一条观测记录, 保留模型名、题面、原始回答与调用时间。失败、空答、截断一律留痕。

质检

六道确定性校验决定 L2:调用成功、无错误文本、回答不少于 80 字、非占位内容、 模型可识别、模板版本可追溯。同一行数据、同一规则版本,永远得到同样的结论,不调用模型做语义判断。

留档

每期专题对应一份快照文件与指纹,可用仓库里的导出脚本复现。观测库每天都在长, 所以任何数字都必须连着窗口与快照时间一起看。

边界

模型 API 的回答不等于消费者在 App 里看到的真实结果;一次采样不能推断市场整体份额; 提及不等于推荐。这些边界写在每篇专题的「不能说什么」里,不省略。