爱奇艺使用 GPU 加速 CTR 模型训练的实践.pdf

1、奇说：乐市的夏关河神2爱奇艺GPU加速CTR模型训练实践黄新平8迷雾剧场1809Y爱奇艺品商香销所#page#目录推荐系统技术演变简介Wide&Deep模型简介爱奇艺W&D模型训练GPU加速实践Y爱奇艺#page#推荐系统是互联网公司的基础设施在特定场景下，针对用户，从候选物品中生成推荐列表0:69净张理车发机80直播 维荐新说题 送客小对上场景用户物品变异狂蝶232店9#page#推荐系统技术演变机器学习模型/算法协同过滤（CollaborativeFiltering，CF） UsercF, ItemCF逻辑/对数回归（LogisticRegression，LR）因子分解机（Factoriz

2、ationMachine，FM）梯度提升树（GradientBoostingDecisionTree，GBDT）深度神经网络模型Wide & Deep DCN DeepFMDIN DIENY爱奇艺#page#推荐系统发展趋势数据越来越多，越来越广，越来越多稀疏数据模型越来越复杂，神经网络应用越来越多时效性要求越来越高Y爱奇艺#page#Wide&Deep模型简介模型动机，记忆与泛化模型结构Output UnitsHidden LayersDenseEmbeddingsSparse FeaturesWide & Deep Models#page#Wide&Deep模型结构细节Logistic L

3、ossReLU（256）ReLU（512）ReLU（1024）Cross ProductConoatenatedEmbeddings（-1200dimensions）TransformationEmbedigsEmbeddingsEmbeddigsEmbeddings#EngagementUserDeviceUserInstalledImpression#AppAgeInstallsClassDemographicsAppAppsessionsContinuous FeaturesCategorical Features#page#W&D模型训练速度优化优化流程建立基准，设立目标建立基准。性能

4、剖析分析发现瓶颈性能剖析。解决性能瓶颈测试优化收益发现瓶颈循环直至完成目标优化Y爱奇艺#page#Criteo数据简介2014年Criteo资助的KaggleCTR大赛Label,11-113,C1-C264千万训练样本5百万测试样本Y爱奇艺#page#建立基准，设立目标INFO:tensorflow:global_step/sec:8.95916INFO:tensorflow:global_step/sec:10.5461测试配置INFO:tensorflow:global_step/sec:10.0584INFO:tensorflow:global_step/sec：9.69991服务器I

5、NFO:tensorflow:global_step/sec:10.62Intel62482.50GHz80C，256GB MemINFO:tensorflow:global_step/sec:10.6413INFO:tensorflow:global_step/sec:10.0518OSRedhat7.4-3.10.0-957.27.2.el7.x86_64INFO:tensorflow:global_step/sec:9.59102INFO:tensostep/sec:10.9355-step/sec：10.77213.6.8Pythonstep/sec:10.0898INF0:tenso

6、r/sec:10.0095stenTensorflow1.13INFO:tensorflow:globastep/sec:9.21732INFO:tensorflow:global_step/sec:10.1685INFO:tensorflow:global_step/sec:10.3935INFO:tensorflow:global_step/sec：10.7992INFO:tensorflow:global_step/sec:9.8134INFO:tensorflow:global_step/sec:10.0497测试结果INFO:tensorflow:global_step/sec:10