用可复算的数据,说清 AI 到底怎么推荐
我们每天都在问 AI 同一批关于品牌与商品的问题。数说把这些回答按可核对的口径摊开: 样本从哪来、排除了什么、每个数字的分子分母是什么 —— 然后才说结论。
口径先行
每个指标的定义写在代码里的注册表,不在文案里。改口径必须升版本,历史数字不重算, 所以两期之间的差别一定来自数据本身。
等级标注
每条数据都标 L1 / L2 / L3。L2 是机器质检通过但没人逐条审核,只能用来说明口径; 排名与关键商业结论需要 L3,而我们现在一条 L3 都没有。
不做排名
在 L2 数据上做「谁第一」是拿机器的排序当结论。数说只披露结构:有多少品牌被提到、 每个品牌分到多少解释空间、不同问法差多少。
我们手里有多少可公开的样本
下面这组数字来自同一次快照(2026-11-14 01:21),不是实时值 —— 对外披露的数必须可留档、可复算, 否则今天看和明天看对不上,就没法核对。
本期专题
首批选了两个数据质量相对扎实、但形态完全不同的品类:一个高单价快消,一个高介入耐用品。 放在一起看,能看出「行业」不是决定因素,「问法」才是。
把两个品类放在一起
同一批模型、同一套题面结构、同一个时间窗口。唯一的差别是品类,结果却差了一个量级 —— 这说明「AI 推荐」不是一个统一行为,任何跨行业的统一结论都值得怀疑。
| 结构指标 | 香水 | 洗碗机 |
|---|---|---|
| 有效样本 / 采集 | 541 / 1,183 | 148 / 1,236 |
| L2 产出率 | 45.7% | 12.0% |
| 中位回答长度 | 71 字 | 42 字 |
| 清单式回答占比 | 54.2% | 88.0% |
| 单答品牌密度 | 10.81 | 11.71 |
| 每个品牌分到的字数 | 6.6 | 3.6 |
| 提及集中度(前五) | 39.8% | 40.0% |
数据是怎么来的
采集
按消费者真实选购时会问的问题组织题面,每个题面在所有被测模型上跑两轮,一次调用一条观测记录, 保留模型名、题面、原始回答与调用时间。失败、空答、截断一律留痕。
质检
六道确定性校验决定 L2:调用成功、无错误文本、回答不少于 80 字、非占位内容、 模型可识别、模板版本可追溯。同一行数据、同一规则版本,永远得到同样的结论,不调用模型做语义判断。
留档
每期专题对应一份快照文件与指纹,可用仓库里的导出脚本复现。观测库每天都在长, 所以任何数字都必须连着窗口与快照时间一起看。
边界
模型 API 的回答不等于消费者在 App 里看到的真实结果;一次采样不能推断市场整体份额; 提及不等于推荐。这些边界写在每篇专题的「不能说什么」里,不省略。