示例设定

假设产品准备测试一个新的注册入口。这是工作札记中的假设情境，不代表真实项目。流量按 50/50 随机分配，计划运行 14 天以覆盖 2 个完整周周期，并在开始前完成 24 小时的 A/A 观测。

先写决定，再写指标

把实验可能支持的产品决定写成一句具体的话：保留新入口、继续修改，或恢复原版本。主指标应直接对应这项决定，护栏指标负责观察错误、延迟或后续步骤是否变差。

若团队无法说明结果将改变什么，实验即使显著也可能没有明确用途。

开跑前逐项确认

  1. 随机单位确认按用户、设备还是会话分组，并说明跨端与匿名转登录的处理。
  2. 互斥范围检查同期实验是否会修改同一页面、同一人群或同一主指标。
  3. 指标定义冻结分子、分母、去重、窗口、时区与异常值规则。
  4. 样本与周期根据可检测差异和基线估算样本，不因中途波动随意提前结束。
  5. 质量监控准备分流比例、事件缺失、版本覆盖和错误率的日常检查。

为什么要先做 A/A 观测

A/A 观测不是为了证明两组永远相同，而是检查随机分配、事件触发、日志延迟和报表计算能否按预期工作。若 24 小时内出现明显的分流比例异常，应先排查实现，不应把异常带进正式实验。

停止规则写在结果之前

计划运行 14 天，就应事先说明哪些安全问题可以触发提前停止，哪些普通波动不能。频繁查看结果后在最好看的时点结束，会改变误判风险。