A/B 实验实战：让「感觉更好」变成「数据证明」

改版上线靠「我觉得更好看」？A/B 实验把"改动是好是坏"变成可计算的概率问题。这篇讲清四个要素、样本量与显著性的直觉、五个经典陷阱，以及七步实验闭环。

一、实验能回答什么、不能回答什么

产品决策有两种常见模式：顶头上司拍板（圈内戏称 HiPPO，最高薪者的意见），或者「上次改的按钮我觉得不错」。A/B 实验提供了第三种：把一次改动随机分给两组用户，用指标差异回答"它到底有没有用"。但它有清晰的边界：

• 能回答：单点改动对指标的影响——按钮位置、文案措辞、推荐权重、定价策略
• 不能回答：「为什么」要看用户研究；长期影响需要长周期或多期实验；流量不足时先做定性访谈
• 前提：足够的流量与可信的埋点——没有这两样，实验只是把猜测换成了一张没人敢信的报表

实验不是「证明我对」，而是「让团队不再靠职位大小定对错」。

二、实验的四个要素

• 假设：用「如果…那么…因为…」格式写清——「如果把结算按钮固定在底部，那么支付转化率上升，因为在长表单里用户找不到按钮」；没有因果逻辑的改动不值得实验
• 分流：随机、稳定、互斥——同一用户始终落在同一组（保证体验一致），同一层的多个实验不重叠（避免相互干扰）
• 指标：一个主指标（北极星）+ 若干护栏指标（崩溃率、退款率、投诉率——不能被伤害的底线）
• 分析：显著性、置信区间、效应量——三个数一起看，缺一个都可能得出错误结论

三、样本量与显著性：直觉版

两个最常见的直觉错误：一是"跑满一周就有效"——不对，需要多大样本取决于你想检测的效应大小：效应越小，需要的样本越大；二是"p 值小 = 效果为真的概率高"——不对，p 值回答的是"假设真的没效果，看到这么大差异的概率有多小"。

实操建议：实验开始前就定好样本量与运行周期，期间不判读、不提前停；条件允许用序贯检验等允许中途监测的方法，但那要平台支持，不是"人工每天看看"。

四、五个经典陷阱

• 偷看数据提前停止：看到显著就收工——把短期波动当成结论，假阳性率远超名义值
• 样本比例失衡：设计上五五开，实际四六分——分流 bug、爬虫流量、时区覆盖都可能造成，跑之前先查
• 新奇效应：用户对新界面好奇，前几天的数据天然偏高（或针对老用户产生抵触）——周期要覆盖到效应稳定
• 指标代理错误：只优化点击率，结果把标题党推上去、留存掉了——这就是护栏指标存在的意义
• 把实验当免罪符：「数据说涨了」却忽略体验伤害（误触、投诉）——数字和直觉冲突时，先搞清楚各自漏掉了什么

五、技术实现要点

• 分流要稳定且可复现：对「用户 ID + 实验盐」做哈希取模，同一用户永远同组；客户端与服务端的分流结果要一致
• 埋点带实验标签：每个事件都要记录用户所在的分组，否则数据无法归因——事后想补是不可能的
• 与功能开关联动：实验本质就是"带指标分析的灰度"（呼应灰度一篇）——流量、放量、回滚共用一套机制
• 数据管道分两层：实时看趋势防风险，离线算显著性出结论——不要让"实时面板"参与决策判读

# 稳定分流（示意）：同一用户永远落在同一组
group = hash(user_id + experiment_salt) % 100
if group < 50: variant = "control"
else:          variant = "treatment"

六、实验流程：七步闭环

• 1 提出假设：如果…那么…因为…，写清因果逻辑
• 2 设计：主指标 + 护栏指标、样本量、运行周期、分流方式
• 3 AA 实验：两组都跑旧版本，验证分流与埋点无偏差——被跳过最多、也最值得做的一步
• 4 运行：期间不判读、不提前停；监控护栏指标异常随时熔断
• 5 分析：显著性 + 置信区间 + 效应量，再看分群（新老用户、平台）
• 6 决策：全量、回滚或迭代；不显著也是结果（没有证据表明更好）
• 7 记录：实验库记一句结论与原始假设——避免半年后重复踩坑

七、决策文化：比工具更重要的是习惯

A/B 实验真正的门槛不在统计学，而在团队愿不愿意接受"我不对"：显著为负时大方回滚并称赞问题被提前发现；不显著时不为"沉没成本"强行上线——没有证据表明更好时，按实现与维护成本决定；把实验库当成团队记忆，每一个结论都在替未来的会议省时间。

速查卡

写在最后

A/B 实验的价值是一套让决策可辩论的机制：假设写清、数据公开、结论入库——对错由证据裁断，而不是谁声音大。工具和统计都可以慢慢补齐，但"愿赌服输、记录结论"的文化要从第一个实验就开始养。