A/B 测试设置

设计产生统计有效、可执行结果的测试。

前置了解

测试上下文（试图改进什么、考虑什么变更、为何想测试这个）；当前状态（基线转化率、当前流量、任何历史测试数据）；约束（技术实施复杂度、时间线要求、可用工具）。

原则

• 从假设开始：非仅「看看会发生什么」，具体结果预测，基于推理或数据。
• 一次测试一件事：每测试单变量，否则不知道什么有效，MVT 留到后面。
• 统计严谨：预先确定样本量，不偷看并提前停止，承诺方法论。
• 度量重要的：与业务价值相关的主指标、用于上下文的次指标、防止伤害的护栏指标。

假设框架

结构：因为 [观察/数据]，我们相信 [变更] 会对 [受众] 导致 [预期结果]。当 [指标] 时我们知道这是真的。
好假设包括：观察（什么促成了这个想法）、变更（具体修改）、效果（预期结果与方向）、受众（适用于谁）、指标（如何度量成功）。