上一篇讲 PRD 时，有一格叫“成功指标与观察窗口”，还特意强调要带上基线。那一格填起来很轻，很多人随手写个“提升转化率”就过去了。这篇讲的就是这一格为什么必须在上线之前填好，以及上线之后，它到底能替你证明什么、不能证明什么。
“上线前后一比”，是最常见也最不可靠的读法
假设你给门店做了一个报表页，让店长不用再在三个页面之间抄数。上线两周后，周一早上的平均准备时间从 38 分钟降到 22 分钟。数字很漂亮，但它几乎证明不了什么。
因为这两周里还发生了别的事：正好赶上月中促销季，门店数据量整体上涨；IT 那周升级了服务器，页面普遍变快；区域经理临时把汇报模板简化了。这些都可能在同一方向上推动那 22 分钟。凡是跟着你的改动一起变、又可能单独解释结果的因素，都叫混淆变量35。前后对比的问题不在于算错了，而在于它把这一堆因素合起来的变化，全算成了你的功劳。
你要的其实是一个不存在的平行世界
要确认“是这次改动导致了变化”，你得知道：假如不做这次改动，同样这批用户、同样这段时间，会是什么样。这个“没做的版本”叫反事实，它没有发生，你观察不到4。
前后对比是拿过去当这个平行世界的替身，可过去和现在之间什么都变了。真正能把它造出来的办法是 随机对照实验：在同一段时间里把用户随机分成两组，一组用新版，一组用旧版。两组同时经历同一个促销季、同一次服务器升级、同一个模板调整，外部变化同时作用在两边、相互抵消；最后剩下的差异，才有可能归给改动本身43。
关键在“随机”两个字。如果让用户自己挑，爱尝新的人会挤进新版，两组从一开始就不是同一类人，差异什么都说明不了。随机分配的作用是让两组在 所有 因素上趋同——不只是你想得到、测得到的那些，还包括你根本没想到、也测不出来的因素。这就是 A/B 测试撑得起“因果”结论、前后对比撑不起的全部原因。
由此有一个直接后果：对照组必须在上线之前就设好，上线后再想补一批“没用上新版本的用户”是补不出来的5。这也是指标必须在动手前定好的第一条理由：越强的证据，越只能提前搭。顺带说一句，有些改动没法随机分组，比如全国统一的价格，只能退而用更弱的方法估效果，这里不展开。
为什么指标也得在上线前定
第二条理由更根本，是认知上的。看到结果的瞬间，你要回答的其实不是“涨了多少”，而是“那我该做什么”——全量、回滚，还是继续改。如果你事先没写清“什么结果对应什么决定”，那么最后真正起作用的映射，就是你在已经知道数字之后才形成的。而那个时候，团队已经为这个功能投进去几个月，没有谁真心想承认白做了。于是很自然的读法就来了：涨了归功于自己的改动，持平是“数据还不够”，跌了怪外部环境16。
这不只是心态问题。指标一多，“涨”几乎总能找到：主指标平了就看次指标，整体平了分渠道看，渠道也平了再分新老用户。指标越多，纯靠运气筛出“看起来赢的那一个”的机会就越大16。
事先写下来能同时挡住这两条路，写法就是一句话的量级：
如果主指标提升至少 3%，且所有护栏指标都没有显著变差，就全量上线。
这句话真正值钱的地方，是它事先把“我可能是错的”保留了下来12。另外别忘了中性结果——它恰恰是最常见的结局。微软内部统计过，测过的点子里约三分之一有效、三分之一中性、三分之一反而有害；Google 和 Bing 只有约 10% 到 20% 的实验结果是正面的5。所以还要事先专门写一句：结果不好也不坏时，我们怎么办。 这一句不写，中性结果就会被读成“再等等”，实验一直挂着，决定一直不做6。
数据能证明的，比你以为的窄
现在假设你规规矩矩跑完了一个随机对照实验，结果显著向好。它能证明什么，不能证明什么？
它证明不了“为什么”。 实验给出的是“这个改动让这个指标涨了这么多”，不是“因为用户喜欢这个设计”。机制是你事后的解读；结果站得住，不代表解读对。它也证明不了这效果能持续多久——靠新鲜感赢来的提升可能两周就退回去，短窗口的测试看不见；它同样证明不了换一批用户、换一个场景还成不成立。
“显著”不等于“真的有效”，“不显著”也不等于“没效果”。 值的含义是：假设真实效果为零，观察到现在这么极端结果的概率。 的意思是“如果真没效果，出现这种数据的概率不到 5%”，不是“这个结果有 95% 的概率是真的”8；而且这个门槛默认实验设计正确、样本足够，样本不够的测试会把噪声读成信号2。反过来，不显著只说明这份数据分辨不出来，这时延长实验、翻找子群体直到刷出一个显著结果，就是把决定权推给了数字6。
指标本身也只是替身。 你真正想要的是“店长觉得这工具好用、愿意一直用”，但这个东西没法直接量，只能拿“准备时间”“使用频次”去代替。一旦某个替代指标变成团队追逐的目标，它就会失真：如果只考核“准备时间”，最省事的做法可能是干脆不好好准备数据。这就是古德哈特定律——当一个度量变成目标，它就不再是好度量7。所以主指标之外还要有护栏指标，比如“汇报材料出现数据错误的次数”“报表页报错率”，让任何一个数字都不能被单独优化到失真。
回到那一格
一次靠谱的数据验证是这样一条链：动手前写下假设、主指标、基线、成功阈值、护栏指标和观察窗口，同时把对照组设计出来；上线后按事先说好的方式收数据；结果拿到手，填进早就写好的规则里，而不是反过来，让数字去决定当初的标准是什么。
如果一开始没写，也不是没法收场：把结论降级为“方向性观察”，明说它排除不了季节和其他改动，然后为下一次设计一个干净的测试。