2-3 广告场景下双边市场的实验设计.pdf

1、双边市场下的实验设计双边市场供给方彼此存在竞争，需求方的变化会引起供给方的变化，影响交织在一起。0201市场中有两种不同类型的客户，通过一个平台产生互动；A two-sided market,also called a two-sided network,is an intermediary economic platform having two distinct user groups that provide each other with network benefits平台供给方需求方出行平台电商平台婚恋平台广告平台一般双边市场下的实验设计地域随机化出行平台按照城市作为样本，将所有的

2、城市随机划分成两组分别使用两种策略样本量少，不同质，评估不灵敏处理方法缺点类目随机化电商平台不同类目的商品竞争比如弱，按照商品的类目进行随机化时间随机化在不同时间段环境会比较独立的情况下，按时间分组，不同时间全量使用不同的策略实验周期漫长GEO：广告投放的目标客户大部分不存在地域限制时间：广告的效果在存在很强的跨时间段影响广告平台找不到一个很好的划分可以让竞争只发生在组内而在广告平台中，按照地域和时间来做实验都不太可行：广告流量四格表实验一种解决抢夺的思路：将大盘的流量与广告分别考虑成 两个样本空间，并将流量和广告均分成两组，策略只在流量和广告都处于实验组时才生效。我们可以观察 AD1 在 U

3、V1 和 UV2 中的表现来判断策略的效果，但是在流量 UV1 中，AD1 由于有策略，可能会抢夺 AD2 的效果。因此直接比较 AD1 在两份流量的效果得到的结论不准确。由于 UV2 中是全部没有策略的，因此 AD2 在 UV2 中不会被抢夺，可以用来作为基准值。广告分桶流量分桶121111222122total12广告分桶流量分桶121111222122total12修正广告分桶流量分桶1211222122total12计算提升提升=()/-1=+注：蓝色 格子代表接受策略处理。11122ytotaly=广告流量四格表实验 理想情况12125+3=282522525total5350121

4、25112512225212522total50.150.2实验前观测结果修正无策略，实验组对照组效果无差异121282522525total5350提升28/25-1=12%策略有正向提升，策略广告效果变好实验后注：蓝色 格子代表接受策略处理，其余为不接受策略处理。红色数字代表提升，绿色数据代表抢夺。广告流量四格表实验 只有抢夺没有外溢12128(53-25)2522325total535012125112512225212522total50.150.2观测结果修正无策略，实验组对照组效果无差异提升策略广告抢夺同流量非策略广告12125+2+3=3025225 2=2325total535

5、028/25-1=12%注：蓝色 格子代表接受策略处理，其余为不接受策略处理。红色数字代表提升，绿色数据代表抢夺。实验前实验后广告流量四格表实验 实际中发生外溢效果的情况12128(53-25)2622325total535112125112512225212522total50.150.2实验前观测结果修正无策略，实验组对照组效果无差异提升策略广告对该广告非策略流量有正向外溢效应实验后12125+2+3=3025+1=26225 2=2325 total535128/25-1=12%注：蓝色 格子代表接受策略处理，其余为不接受策略处理。红色数字代表提升，绿色数据代表抢夺。广告流量四格表实验

6、实际中发生外溢效果的情况注：蓝色 格子代表接受策略处理，其余为不接受策略处理。红色数字代表提升，绿色数据代表抢夺。12125112512225212522total50.150.2实验前观测结果修正无策略，实验组对照组效果无差异提升策略广告非策略流量因为正向外溢效应，抢夺同流量其他广告实验后12125+2+3=3025+1+1=27225 2=2325 1=24total535112129(53-24)2722324total535129/24-1=21%解决方法一：隔离广告在不同流量下的彼此影响，避免外溢将广告流量同时分组，策略只在实验策略实验广告上生效工程挑战大：要做到广告在不同流量下隔离