想象一次产品评审:新入口获得了更多点击,完整任务的完成率没有变化。一种意见认为入口更容易被发现,另一种意见担心新增点击没有转成实际完成。两边都能引用实验结果,争论却不会由报表自动结束。

这类分歧常常说明,大家在回答不同问题。有人关心入口是否被看见,有人关心用户能否完成整段任务。若实验方案只写“提升转化”,结果出来后很容易各自挑一项指标解释。

实验目标要对应一个产品决定

设计实验时,我会把产品想法写成可以讨论的假设,并明确结果准备支持什么决定。入口点击和任务完成可以同时观察,但它们承担的角色不同。

如果团队准备判断入口是否需要保留,主指标要能回答入口有没有带来预期行为。若决定涉及完整流程,后续完成情况就不能只放在附表里。

主指标负责回答,其他指标补充代价

主指标让实验有明确回答。其他指标帮助说明这项变化是否影响了后续环节。两个方向不一致时,结果不必被压成一句“成功”或“失败”。

点击增加而完成率不变,可能支持入口更容易被看到,也可能说明新增动作没有继续向后。实验本身无法替团队选择更重要的目标,但它能把这项选择摆到讨论桌面上。

评审时保留原来的问题

结果出来后临时更换主指标,会让实验回答另一个问题。评审材料应保留原来的假设、主指标和准备支持的产品决定,再说明其他指标提供了什么补充。

这种写法可能留下一个不够痛快的结论:入口表现改善了,完整流程没有同步变化。接下来的决定仍需结合产品目标。至少团队讨论的是同一项取舍,而不是各自引用一列数据。

下一次实验可以从分歧继续

指标冲突也会暴露原方案没有回答的部分。下一次实验可以缩小改动范围,或把关注点移到点击之后的流程。这里不需要给当前结果补一个更好听的故事,只要把尚未解决的产品问题交代清楚。