美团：2025可信实验白皮书（143页）.pdf

1、可信实验白皮书（方法指南篇）美团履约&外卖团队资深数据科学家撰写根据多年 AB 实验设计与评估经验系统阐述了 AB 实验的基础原理与应用案例为什么要写 AB 实验白皮书？增长与优化是企业永恒的主题。面对未知的策略价值，数据驱动的 AB 实验已经成为互联网企业在策略验证、产品迭代、算法优化、风险控制等方向必备的工具。越来越多的岗位，如数据科学家、算法工程师、产品经理以及运营人员等，要求候选人了解 AB 实验相关知识。然而，许多从业者由于缺乏有效的学习渠道，对 AB 实验的理解仍停留在初级阶段，甚至存在一些误解。我们希望通过系统性地分享和交流 AB 实验的理论基础、基本流程、核心要素及其应用优势，

2、能够帮助更多相关人员深入了解实验，提升实验文化的普及度，最终辅助企业在更多领域做出精确数据驱动决策。除了广泛传播实验文化外，该白皮书在深度上也可给实验研究人员，提供复杂业务制约下进行可信实验设计与科学分析评估的参考经验和启发。从美团履约技术团队、美团外卖业务的实践来看，实验者常常面临多种复杂的实验制约和难题，例如，在美团履约业务中，实验往往需要应对小样本、溢出效应（即实验单元间互相干扰）以及避免引发公平性风险等多重约束，需设计科学复杂的实验方案以克服相应挑战。通过撰写白皮书，我们系统性地总结和分享应对复杂实验约束的研究经验，进而能够促进实验技术的传播与升级，推动实验科学持续进步。本白皮书以 A

3、B 实验为中心，涵盖 AB 实验概述与价值、实验方法基础原理与案例剖析以及配套 SDK 代码分析等，内容丰富且易于理解和应用。适合从事 AB 实验研究前言可信实验白皮书可信实验白皮书目录第一部分 AB 实验概述 1第一章：走进 AB 实验 11.1 了解 AB 实验 11.2 深入 AB 实验以到家可信实验为例 3第二部分 基础原理与案例剖析 10第二章：AB 实验基础 102.1 实验基础原理概述 102.2 AB 实验统计学基础 132.3 常用实验术语 20第三章：随机对照实验 213.1 经典随机对照实验 213.2 提高实验功效的办法 363.3 进一步保证同质性的实验方式 423.

4、4 解决溢出效应难题的实验方式 573.5 拓展与展望 65第四章：随机轮转实验 684.1 抛硬币随机轮转 694.2 完全随机轮转 72可信实验白皮书v4.3 配对随机轮转 754.4 拓展与展望 77第五章：准实验 825.1 双重差分法 835.2 拓展与展望 90第六章：观察性研究 936.1 合成控制法 946.2 匹配方法 1006.3 Causal Impact 1096.4 展望与拓展 115第七章：高阶实验工具 1187.1 统合分析 1187.2 多重比较 1257.3 拓展与展望 127第三部分 SDK 代码应用 129第八章：开放式分析引擎 1298.1 产品特性 1

5、298.2 系统设计 1318.3 系统接入 1338.4 线下分析实战 134总结与展望 138致谢 138可信实验白皮书可信实验白皮书图 1-1：AB 实验流程AB 实验之所以能迅速成为工业界数据驱动决策的黄金标准，主要归功于其能定性验证因果关系以及定量评估增长价值。某个策略的改变是否会导致产品指标的改变，本质上需要的是一种因果关系的判断，即“策略迭代优化”的因是否会带来“产品质量改变”的果。单凭经验以及相关性分析难以做成正确的决策，Google 和 Microsoft 相关统计表明，即使很有经验的相关人士正确判断产品策略的概率也只有 1/3。依赖相关性同样可能导致错误的决策，例如提供订阅

6、服务的微软 Office 365 观测到看到错误信息并遭遇崩溃的用户有较低的流失率，这是因为高使用率用户往往看到更多错误信息以及流失率更低。但这并不意味着 Office 365 应该显示更多的错误信息或者降低代码质量使得频繁崩溃。另一个著名的相关性案例为国家的巧克力消耗量与获得诺贝尔奖的数量相关性高达 可信实验白皮书可信实验白皮书图 1-2：到家实验难题示例具体的，以下是到家几个常见实验难题的简要介绍，这些问题也经常出现在其他业务实验中，更多案例与解决方案可详见后面章节。案例一：小样本和溢出效应是制约履约场景下进行可信实验的两大难题。一方面，履约配送场景下样本量稀少与地域差异明显的现状，使得随