AB实验中策略长期效果评估方案研究(1).pdf

1、D Da at ta aF Fu un nS Su ummmmi it t#2 20 02 23 3A A/B B实实验验中中策策略略长长期期效效果果评评估估方方案案研研究究演讲人-温中卉-腾讯广告-数据科学家D a t a f u n 分享 演演讲讲人人介介绍绍温中卉，北京大学光华管理学院商业分析硕士，现在腾讯广告数据科学团队，负责从数据科学角度对广告系统各链路分析与优化，应用实验设计和因果推断等方法进行科学评估衡量D a t a f u n 分享实实验验长长短短期期效效应应产产生生原原因因工工业业界界探探究究策策略略长长期期效效果果的的方方案案业业务务场场景景目目录录 C CO ON NT

2、 TE EN NT TD a t a f u n 分享D Da at ta aF Fu un nS Su ummmmi it t#2 20 02 23 30 01 1实验长短期效应产生的原因D a t a f u n 分享 背背景景AB实验将用户随机分成两组，对照组（没有策略）v.s.实验组（上线策略），两组用户除了是否上线策略外都同质，对比两组实验差异获取策略效果受到实验时长限制等原因，往往只能检测到策略的短期影响或短期指标-需要实验人员通过短期的实验捕捉策略长期的效果，高效地评估策略，提升评估效率，避免有效策略的漏判等问题新的UI设计DAU1%三个月后是否仍有具有影响收入不显著三个月后是否

3、会显著新奇效应学习效应D a t a f u n 分享实实验验长长短短期期效效应应产产生生的的原原因因外外生生影影响响：市场达到供需均衡状态需要时间Gupta,Somit&Kohavi,Ron&Tang,Diane&Xu,Ya&Vermeer,Lukas.(2019).Top Challenges from the first Practical Online Controlled Experiments Summit.ACM SIGKDD Explorations Newsletter.21.20-35.10.1145/3331651.3331655.季节原因或周中周末原因突发事件 内内生生

4、影影响响：用户学习效应（user learning）Hohnhold,Henning,Deirdre OBrien,and Diane Tang.Focusing on the long-term:Its good for users and business.Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2015.推荐系统个性化推荐（如精排，粗排召回模型演进）Munro,Evan&Jones,David&Brennan,Jennifer&Ne

5、let,Roland&Mirrokni,Vahab&Pouget-Abadie,Jean.(2023).Causal Estimation of User Learning in Personalized Systems.短期难以观察长期指标（如30天留存）Gmez-Uribe,Carlos&Hunt,Neil.(2015).The Netflix Recommender System.ACM Transactions on Management Information Systems.6.1-19.10.1145/2843948.新奇效应novelty effect或首要效应primacy

6、effectsSadeghi,Soheil&Gupta,Somit&Gramatovici,Stefan&Ai,Hao&Lu,Jiannan&Zhang,Ruhan.(2022).Novelty and Primacy:A Long-Term Estimator for Online Experiments.Technometrics.64.1-26.10.1080/00401706.2022.2124309.人群偏差，如活跃用户会更多受到策略影响Wang,Yu&Gupta,Somit&Lu,Jiannan&Mahmoudzadeh,Ali&Liu,Sophia.(2019).On heavy