Copy-AB实验的敏感指标探索 (1).pdf

《Copy-AB实验的敏感指标探索 (1).pdf》由会员分享，可在线阅读，更多相关《Copy-AB实验的敏感指标探索 (1).pdf（18页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummitDataFunSummit#20232023AB实验的敏感指标探索苏扬腾讯游戏IEGG资深数据科学家01什么是敏感代理指标02如何寻找敏感代理指标03敏感代理指标应用案例04总结和展望目录 CONTENTDataFunSummitDataFunSummit#2023202301什么是敏感代理指标什么是敏感代理指标什么是敏感代理指标做A/B实验时，我们期望的最终效果是实验策略使北极星指标显著提升。通常很难在A/B实验中观察到北极星指标的显著变化。北极星指标实际上有小幅度的变化，只是受实践中样本量的限制，我们无法探测到北极星指标实际变化不显著，但当若干个策略叠加，会有积少

2、成多的效果实验策略对用户长期的行为有正面影响，但A/B实验周期较短，观察不到什么是敏感代理指标什么是敏感代理指标使用敏感代理指标（sensitive surrogate metrics)作为实验策略对北极星指标是否有显著影响的依据【敏感】-容易被实验策略影响，从而发生显著变化的指标【代理】-与北极星指标关联度高，可以成为北极星指标的“代理”WHYWHY？更快、更准确地了解到实验的真实效果，引导业务向正确的方向优化和迭代，最终提升用户体验和活跃DataFunSummitDataFunSummit#2023202302如何寻找敏感代理指标如何寻找敏感代理指标如何寻找敏感代理指标第一步:【代理】利用

3、模型和相关度分析，圈出若干个跟北极星指标关联度高的候选代理指标第二步:【敏感】测量候选代理指标的敏感程度，找出最敏感的代理指标，从而得到敏感代理指标。候选代理指标的选择候选代理指标的选择选择的候选代理指标应该符合以下条件：与北极星指标有高相关性，是可能被实验策略撼动的指标，适用于实验策略覆盖的业务场景，不同场景下使用的候选代理指标也许会不同。步骤：1.根据对产品和策略的理解，找出可能会影响和预测北极星的一系列指标2.将北极星指标作为因变量，候选代理指标作为特征/自变量，建模并使用相关性分析来圈选出最终的候选代理指标候选代理指标的选择候选代理指标的选择模型名称模型名称方法方法优点优点缺点缺点树模

4、型（1）训练完数模型后，根据特征重要度选出1020个指标（2）建立（1）中指标与北极星指标的correlation map，选出正相关且相关性最高的3-5个指标作为候选代理指标模型依赖的假设较少，非线性的结构更可能符合候选代理指标和北极星指标的关系通过特征重要度筛选出来的指标存在一定随机性（比如两个指标高相关时，都有可能被选为重要指标），且特征重要度相比线性回归的参数在理解上较为不直观Causal Graph模型（1）训练完Causal Graph模型后，选出对北极星指标存在因果效应的指标（2）建立（1）中指标与北极星指标的correlation map，选出正相关且相关性最高的3-5个指标作

5、为候选代理指标可以复现产品体验环节中各个指标与北极星指标的因果关系链条，理解用户行为与北极星指标的关系根据我们有限的实战经验，当特征集的指标数很多时，建模得出的因果图会非常复杂且不易理解，这其中的原因可能是我们的整体数据量不足以让我们获得清晰的因果关系链链条。指标敏感度衡量指标敏感度衡量根据Deng and Shi(2016)，指标敏感度包含两个要素：统计功效(Statistical Power)，即在实验策略对指标存在真实影响时，我们探测到该指标发生统计显著的变化的概率。存在影响的可能性（Movement Probability)，指的实验策略对指标产生真实影响的概率，可以表示为结合以上两个

6、要素，指标的敏感度，即实验策略对指标存在真实影响、并且我们可以探测到该指标发生统计显著的变化的概率为指标敏感度衡量指标敏感度衡量具体地说，测量指标敏感度，一共有三种方式：1.根据已知策略真实效果的历史实验数据，统计指标观察到显著变化且实验策略存在真实影响的实验占比2.当历史实验策略是否有真实效果处于未知状态时，用上述统计方法存在偏差，但也有一定的参考价值3.使用未标记策略效果的历史实验数据，用贝叶斯的方法（EM4.Algorithm)计算和DataFunSummitDataFunSummit#2023202303敏