罗如意-多模态在云音乐社区推荐的应用实践-DataFun分享-v2.pdf

1、DataFun DataFun#20242024多模态在云音乐社区推荐多模态在云音乐社区推荐的应用实践的应用实践罗如意 网易云音乐 算法工程师云音乐社区业务云音乐社区业务简介简介冷启动应用冷启动应用实践实践多模态内容理解多模态内容理解展望展望目录目录 CONTENTCONTENT云音乐社区业务简介评论评论瞬间瞬间动态动态乐乐迷团迷团做更【音乐】音乐】的社区的社区云音乐社区业务简介规模规模互动互动/留存留存新的新的不断，好的常有内容内容用户用户新的新的多来，老的不走多模态内容理解作者作者多模态内容理解-音频多模态内容理解-图文（一）标签分类标签分类向量表示向量表示ClipClip模型模型Flav

2、aFlava架构架构多模态内容理解-图文（二）Qwen-VLQwen-VLPromptImageTextResponseLast Hidden States Last Hidden States 标签分类标签分类向量表示向量表示LLM+不同的Prompt传统模型在不同数据集上预训练调Prompt搞数据训练模型冷启动应用实践-内容冷启ConcatConcatMeta-FeatMeta-FeatText-BertText-BertText/ImageText/Image-Clip-ClipText&ImageText&ImageFusionFusionSENetSENetMLPMLPMSE Los

3、s召回优化-CB2CFDSSM ItemTowerDSSM ItemTower线上训练好线上训练好的双塔模型的双塔模型cb2cf_i2icb2cf_i2i召回召回互动率：互动率：+2.7%人均曝光条数：人均曝光条数：+1.4%新内容召回透出率：+5.1%+5.1%新内容(3天内)曝光：+2.2pt+2.2pt冷启动应用实践-内容冷启ConcatConcatMeta-FeatMeta-FeatText-BertText-BertText/ImageText/Image-Clip-ClipText&ImageText&ImageFusionFusionSENetSENetMLPMLPCE Loss

4、精排特征优化-潜力值预估内容率特征重要性非常高Logit预估的率值预估的率值 曝光量不足时替曝光量不足时替换真实换真实率值率值互动率：互动率：+1.3%人均曝光条数：人均曝光条数：0.8%新内容(3天内)曝光：+1.5pt+1.5pt冷启动应用实践-用户冷启（一）听歌场景听歌场景社区场景社区场景动态动态瞬间瞬间UserUserUserUserUserUserUser种子用户种子用户（有听歌行为的（有听歌行为的社区用户）社区用户）社区社区用户用户互动序列冷启动应用实践-用户冷启（一）基于行为的表征-LightGCN基于内容的表征社区用户覆盖：社区用户覆盖：82%82%互动率：互动率：+11.2%

5、+11.2%小众歌曲偏好用户（占比12%）效果并不好MusicClip SongEmbAudioMAE SongEmbPoolingUserEmb效果更好音频曲风、艺人等对齐互动率：互动率：+1.3%+1.3%冷启动应用实践-用户冷启（二）新老用户兴趣差异新老用户兴趣差异横坐标：横坐标：不同的品类标签纵坐标：纵坐标：新户兴趣差异基于基于POSOPOSO的思路，在精排模型中加入分人群的模块的思路，在精排模型中加入分人群的模块冷启动应用实践-用户冷启（二）如何确定最优分人群的方案？如何确定最优分人群的方案？以性别特征作为先验以性别特征作为先验信息信息穷举所有用户分群特征，选择差异最大的那一个穷举所

6、有用户分群特征，选择差异最大的那一个互动率：互动率：+5.4%+5.4%时长：时长：+3.7%+3.7%冷启动应用实践-用户冷启（二）img/textimg/text-clip-clipima-textima-textfusionfusionuser_featuser_featitem_featitem_featUser&ItemUser&Item用户向量分化越明显，离线和线上效果越显著用户向量分化越明显，离线和线上效果越显著引入多模态特征并将门控机制加入到用户塔上实现稳定引