为什么先固定题面
GEO 监测最容易犯的错,是每次换一套问题去问模型,然后拿两次不同的题面比分数。题面一变,样本就不再可比,任何「涨了/跌了」都说不清是内容变了还是问题变了。所以我们先固化题面:同一批问题、同一批模型、同一口径,才允许做前后对比。
有效样本怎么算
有效样本只统计人工复核通过、且模型调用成功的回答。超时、限流、返回空、答非所问都剔除,并单独记数量。样本不足门槛时只报观察,不给结论——把 n=3 的结果说成趋势,是这个行业最常见的不诚实。
提及率与分母
提及率 = 被提及的回答数 ÷ 有效回答数。同一回答里重复提到同一品牌只计一次。分母按筛选条件逐项标注,不同场景(自然推荐 / 点名对比)分开算,不混合成一个平均分。
复测只看同口径变化
复测回答的是「同口径下有没有变化」,不承诺排名或推荐率提升,也不把变化直接归因为某次优化。变化可能来自模型版本更新、训练数据漂移或竞品动作,这些都要在报告里写清楚。
怎么用这份方法
需要对自己的品牌或商品做一次基线监测,可以在 GEO 工作台选择监测对象与题面批次;需要按行业口径做对照,可参考站内研究与指数说明。两条路径的题面、模型与口径记录方式一致,结果可以放在一起看。
