做实验的团队都会问。只说"偷看"不够——要知道每一个怎么发现和缓解。
偷看：p<0.05就停，假阳性膨胀。修：预注册样本量、用顺序检验考虑重复观察。
样本比失衡（SRM）：50/50分流但观察不符——分桶或日志bug。对计数做卡方，p<0.001就否掉实验。
新奇/首因效应：用户看到新UI行为不同——效应会衰减或增长。跑长一点、按队列分层。
多重比较：10个指标α=0.05→某处假阳性概率约40%。Bonferroni或Benjamini-Hochberg修正。
外部效度：周二10点≠周末晚上。至少一整周，最好两周。
拿到A/B结果我第一步查SRM——分流实际是不是按配置落地。对事件计数卡方；p<0.001我就不信这个实验，要么漏桶要么错桶。接着查偷看：看样本量决策是否预注册，如果有人偷看早停、我把结果当探索性的。新奇效应按时间分层：第二周提升是第一周的一半说明"新鲜感"贡献大部分。多重比较用Benjamini-Hochberg——比Bonferroni更有力。外部效度：至少一整周，周中周末组成重要。见过最惨的真实灾难：有人庆祝5%提升，两个月后归零——经典新奇+均值回归。
一定定义guardrail指标（营收、时延、错误率）防"功能有效但拖坏别的"。
发版前做功效分析——N=(Z_α+Z_β)²×2p(1-p)/δ²，p是基线率、δ是最小可探测效应。
即答侠每个坑都给了侦测recipe——面试官能看出系统化思维。
大样本（CLT）可以。小样本或极低率时卡方或比例z检验更正确。
最少一整周+预算好的样本量。更短=工作日偏差+功效不足。