字节跳动同时运行数千个A/B测试，数据分析师是实验严谨性的守门人。这道题考察你对实验中常见统计陷阱的理解、区分有效和误导性结果的能力，以及在质疑结论时的沟通技巧。
检查实验设计：样本量是否预先计算、测试时长是否预先确定、主要指标是否预注册。
调查潜在偏差：样本比例失衡、新奇效应/首因效应和实验组选择偏差。
评估统计方法：是否做了多重检验校正、是否在完成前偷看结果、指标是否满足正态分布假设。
评估实际显著性：5%的提升对业务是否有意义、置信区间宽度如何、是否考虑了长期效应。
我会从四个维度系统验证结果。第一，实验完整性：检查样本比例是否失衡——如果实验组和对照组的实际人数比与预期比例显著偏离，说明随机化有问题，结果无效。确认是否有其他实验在同一流量上运行导致混淆。第二，统计有效性：确认主要指标是预注册的还是事后选择的（数据挖掘）。询问团队是否在预定结束日期前偷看了结果——反复偷看会大幅膨胀假阳性率。如果检验了多个指标，是否做了Bonferroni或FDR校正。第三，效应质量：检查置信区间——统计显著的5%提升，如果置信区间是[0.1%, 9.9%]和[3.5%, 6.5%]意义完全不同。检查不同用户分群是否存在异质性处理效应。第四，实际评估：用绝对值计算预期业务影响，检查效应是否随时间持续（排除新奇效应），验证护栏指标如崩溃率和延迟是否受损。
把你的问题框架为协作调查而非指责——说"我们一起验证一下"而不是"你做错了"。
牢记关键陷阱：偷看、多重检验、样本比例失衡、新奇效应和统计效力不足。
展示你同时理解统计显著性和业务显著性——微小但统计显著的提升可能不值得上线。
偷看是指在达到预定样本量之前查看实验结果。每次偷看都会膨胀总体假阳性率——以alpha=0.05每天检查两周，实际假阳性率可能超过25%。解决方案包括序贯检验方法如始终有效p值或分组序贯设计，它们能正确处理多次查看。
当指标分布严重偏斜（如人均收入）、有重尾或违反正态性假设时。常用替代方法包括Mann-Whitney U检验、Bootstrap置信区间或指标变换（如对数变换）。在字节的规模下，还可以用分位数分析来理解效应在整个分布上的表现。