2-2 双边市场的复杂实验设计问题.pdf

1、双边市场下激励策略实验设计快手数据科学 程大曦|个人介绍|程大曦 北京大学 光华管理学院 金融经济学 University of Texas at Austin Business Analytics 前蚂蚁集团 数据科学部 数据科学技术专家 实验平台数据科学功能设计 智能营销 流量分配 快手 生态分析团队 经济学家 实验设计与因果推断 流量生态策略01问题背景问题背景双边市场实验介绍双边实验的优点02激励策略的挑战激励策略的挑战激励策略度量的难点对SUTVA的违背03可选解决方案可选解决方案行业主流的实验设计方案实际使用中的局限介绍04构建综合方案构建综合方案根据场景情况构建方案目录目录CON

2、TENT|激励策略挑战什么是双边市场实验双边实验的优点01|双边市场实验介绍|双边市场双边市场：平台，即双边市场，双边市场包含两方的参与者：消费者与生产者；这两方面相互促进。双边实验双边实验：在消费者和生产者端，结合进行分组的实验方式。双边实验的优点双边实验的优点：1.可以同时检测同时检测新的策略对于消费者和生产者的影响：eg DAU 和 上传作品人数 的变化2.可以检测部分的溢出溢出和转移转移3.帮助我们更好的理解作用机制作用机制-效果主要是从消费端还是生产端产生的双边实验的例子（直播美颜）|实验组主播（有美颜功能）控制组主播（没有美颜功能）实验组观众（可以看见美颜）看见美颜 A看不见美颜

3、B控制组观众（不可以看见美颜）看不见美颜 C看不见美颜 D观众侧的溢出观众侧的溢出主播侧的溢出主播侧的溢出问题背景激励策略度量的难点对SUTVA的违背02|激励策略的难点与挑战|供给侧-消费侧生态体系内，业务时长有如下的政策性流量扶植的需求政策性流量扶植的需求：运营引入引入优质作者，但不太确定这些垂类作者在平台上表现如何；某些类型业务挖掘挖掘的特定类型作者提供流量政策扶持，予以更强的分发力度；平台意志期望发展某些特定方向，期望强化对应内容供给强化对应内容供给等相对长期，需要观察学习效应（促生产等）时间片轮转之类方法不太适用激励策略的难点与挑战 contd|作者侧的挤占作者侧的挤占：在总曝光增长

4、数量有限的情况下，实验组作者的曝光会挤占对照组实验组作者的曝光会挤占对照组作者的曝光作者的曝光。该现象出现的证据是在实验当中，作者侧冷启曝光提升幅度比读者侧冷启动曝光幅度显著更大!#$%&()*+,-$./012%3()456通过作者侧的双边网络传递通过作者侧的双边网络传递：对作者的boost通过推荐系统传递到对于用户A组曝光随实验开展各组曝光相对基线diff对SUTVA的违背|SUTVA假设假设：Stable unit treatment value assumption(SUTVA)We require that“the potential outcome observation on o

5、ne unit should be unaffected by the particular assignment of treatments to the other units”(Cox 1958,2.4).This is called the stable unit treatment value assumption(SUTVA),which goes beyond the concept of independence.(wiki)个体i 的指标只与自身在实验组还是对照组有关，与其他节点在哪个分组无关对SUTVA的违背 contd挤占|每一种激励策略，在短视频场景下可以看作一种排序算

6、法 假设对于用户i，我们用RC代表control组的ranking算法，RT代表实验组的ranking算法，RT_25%代表实验组流量为25%的时候的排序结果，RT_100%代表实验推全之后的排序结果。A到F代表不同作者的作品 假设BCDE都是被选中进行激励的作者作品；D在25%流量时实验组 我们采取在排序中加分进行激励（常用的算法测试方法）下图解释了小流量时优势的问题可选方案主流方法常见方法的局限03|方案1:逐步扩量|挤占效应会随着base组流量减少而减少 逐步扩量 10%-20%-50%-80%-99%先发优势先发优势体现在对于流量扶持而言，后期相同扶持力度的情况下，先扶持的作者会一直保