26、A/B测试：流量分流、实验设计、显著性检验
做电商数据分析，A/B测试是绕不开的核心技能。说白了，它就是一场严谨的科学实验。你改了个按钮颜色，或者调整了推荐算法，到底有没有效果？不能拍脑袋，得用数据说话。
我个人习惯把A/B测试看作「流量分流的艺术」。你想想看，如果两组用户本身就不一样，那实验结果肯定不准。所以，分流是地基，地基不稳，楼盖得再高也得塌。
流量分流：怎么分才公平？
分流的核心就四个字：随机、独立。每个用户进入实验的概率要一样，而且他们之间不能互相影响。
我遇到过最典型的坑是什么？用用户ID的奇偶性来分流。听起来挺合理对吧？但问题来了——如果用户ID的奇偶分布本身就不均匀呢？或者某个渠道来的用户全是奇数ID？那实验组和对照组从一开始就不对等。
正确的做法是什么？我推荐用Hash取模。比如，对用户ID做一次MD5，取前几位转成整数，再对100取模。模值0-49进实验组，50-99进对照组。这样能保证分流足够随机。
# 一个简单的Hash分流示例
import hashlib
def assign_group(user_id, experiment_id):
# 把用户ID和实验ID拼接，保证不同实验的分流结果不同
raw = f"{user_id}_{experiment_id}"
hash_val = int(hashlib.md5(raw.encode()).hexdigest()[:8], 16)
return "treatment" if hash_val % 100 < 50 else "control"
这里有个细节要注意：实验ID一定要加进去。不然的话，你同时跑两个实验，同一个用户可能被分到两个实验组，互相干扰。
实验设计：别让「辛普森悖论」坑了你
实验设计听起来高大上，其实核心就三件事：假设、指标、样本量。
先说假设。你得先想清楚，你到底想验证什么。比如「新推荐算法能提升点击率5%」。这就是你的原假设——新算法没有效果。备择假设——新算法有效果。
再说指标。我见过太多人，一口气看几十个指标，最后哪个显著就说哪个好。这叫「数据窥探」，说白了就是作弊。你应该在实验开始前，就定好核心指标和辅助指标。核心指标就一个，用来做决策。辅助指标用来排查异常。
| 指标类型 | 示例 | 作用 |
|---|---|---|
| 核心指标 | 订单转化率 | 做决策，是否上线 |
| 辅助指标 | 页面加载时长 | 排查副作用 |
| 护栏指标 | 服务器错误率 | 确保系统稳定 |
最后说样本量。这个很多人会忽略。样本量不够，实验跑一个月都看不出效果。样本量太大，又浪费流量。怎么算？有个公式：
n = (Z_α/2 + Z_β)² * (σ₁² + σ₂²) / δ²
其中：
- Z_α/2：显著性水平对应的Z值（通常取1.96）
- Z_β：统计功效对应的Z值（通常取0.84）
- σ：标准差
- δ：最小可检测效应量
嗯，公式看着头疼。我一般直接用在线计算器，或者写个Python函数快速估算。
显著性检验：p值不是万能的
实验跑完了，数据出来了。实验组转化率5.2%，对照组5.0%。提升了0.2个百分点。这算有效吗？
这时候就要看p值了。p值的意思是：如果原假设为真（即新算法没效果），我们观察到当前结果（或更极端结果）的概率。通常p值小于0.05，我们就认为差异是显著的。
但我要提醒你：p值不是效果大小。p值小，不代表效果大。它只说明「这个差异不太可能是随机波动造成的」。至于这个差异有没有商业价值，那是另一回事。
我习惯同时看置信区间。比如，提升幅度的95%置信区间是[0.1%, 0.3%]。这说明我们有95%的把握，真实提升在0.1%到0.3%之间。如果这个区间完全大于0，那就可以认为有效。
核心要点：
- p值 < 0.05 且置信区间不包含0 → 显著有效
- p值 < 0.05 但置信区间包含0 → 谨慎，可能样本量不够
- p值 > 0.05 → 无法拒绝原假设，别强行解读
常见陷阱：我踩过的那些坑
做A/B测试这么多年，我踩过的坑能写一本书。挑几个最典型的说说。
第一个坑：多重比较。你同时看了10个指标，每个指标都算一遍p值。就算新算法完全没效果，你也有大约40%的概率（1-0.95¹⁰）至少看到一个「显著」结果。怎么办？用Bonferroni校正，或者干脆只盯一个核心指标。
第二个坑：提前停止实验。实验跑了三天，发现p值已经小于0.05了，赶紧上线？别急。样本量不够的时候，p值波动很大。今天显著，明天可能就不显著了。我一般会设定一个最小运行时长，比如至少跑满7天，覆盖一个完整的用户行为周期。
第三个坑：网络效应。如果你的实验涉及社交功能，比如「分享得优惠券」，那实验组和对照组之间会互相影响。实验组的用户可能把优惠券分享给对照组的用户，导致对照组也被「污染」了。这种情况，需要用网络随机化或者集群随机化，把社交网络中的社区作为随机单元。
知识体系：一张图看懂A/B测试
下面这张图，是我自己总结的A/B测试核心流程。每次做实验前，我都会对照着检查一遍，确保没有遗漏。
你看，整个流程其实不复杂。但每一步都有细节。我见过太多人，要么分流没做好，要么样本量没算够，要么提前停止实验。最后得出一个错误的结论，还当成宝贝上线了。
做A/B测试，说白了就是跟自己较劲。你得时刻提醒自己：我看到的差异，到底是真实效果，还是随机波动？保持这种怀疑精神，你才能做出靠谱的决策。