沈春旭 微信 -LLM在推荐场景中落地的经验与思考.pdf

1、LLM在推荐在推荐场场景中落地的景中落地的经验经验与思考与思考沈春旭沈春旭 微信事业群微信事业群-微信技术团队微信技术团队Data Fun|2024年年10月月目录目录p 推荐研发现状p LLM特征增强p LLM推荐架构设计p ID协同-LLM语义联合建模展示一、推荐系统研发现状一、推荐系统研发现状p 推荐系统背景信息过载信息过载-信息流信息流/广告广告/电商，例：电商，例：*电商场景：十亿级商品*视频场景：亿级短视频*新闻场景：千万级文章*直播场景：百万级直播间奶粉纸尿片育儿资讯购买域内相似性跨域相似性推荐用户历史行为检索：用户历史行为检索：*单域推荐*跨域推荐，例：带货-短视频*全域推荐，

2、例：微信搜广推场景*冷启动：用户侧/物品侧推荐系统工作流：推荐系统工作流：*采集“用户-物品”交互*商品理解，例：多模态信息*用户理解，例：历史偏好*个性化推荐结果展示系统侧系统侧开放世界开放世界物品库用户反馈推荐系统DB交互历史推理训练一、推荐系统研发现状一、推荐系统研发现状p 推荐系统背景物品索引用户索引核心思想：协同过滤核心思想：协同过滤（Collaborative filteringCollaborative filtering）主流范式：主流范式：IDID为核心的序列建模为核心的序列建模交互矩阵高度稀疏唯一标志符+稠密向量 95%参数量特征融入、长尾、冷启动用户偏好拟合+深度网络5%

3、参数量欠拟合、复用性Images from:Deep Interest Network for Click-Through Rate Prediction用户-物品倾向分预估一、推荐系统研发现状一、推荐系统研发现状p 推荐系统如何从LLM中受益？大语言模型：十亿级以上参数、智能涌现*基础能力：丰富的开放世界知识 特征增强*指令精调：高效的多域适配能力 全域建模*上下文学习：卓越的Few-shot推理方式 冷启动/长尾*思维链/规划：强大的文本理解能力 复杂兴趣建模、可解释推荐语言模型组件适配推荐系统已有先例：模型结构学习模式任务范式表征学习Transformer/self-AttentionT

4、ask-specific/prompt商品理解、知识表征预训练、后训练、指令精调一、推荐系统研发现状一、推荐系统研发现状p LLM推荐系统进展推荐推荐系统系统LLMLLMLLMLLM知识表征用于推荐知识表征用于推荐LLMLLM个性化感知个性化感知用于推荐用于推荐理解/推理Images from:PALR:Personalization Aware LLMs for Recommendation减小候选推理/理解交互数据/用户属性/物品属性指令模板指令精调Images from:Towards Open-World Recommendation with KnowledgeAugmentatio

5、n from Large Language Models一、推荐系统研发现状一、推荐系统研发现状p LLMLLM推荐系统推荐系统进展：进展：Images from:Knowledge Adaptation from Large Language Model toRecommendation for Practical Industrial ApplicationLLMLLM模型架构用于推荐模型架构用于推荐输入文本物品表征推荐LossFrozen LLM +Trainable SeqRecFrozen LLM +Trainable SeqRecLLMLLM知识知识/训练流程用于推荐训练流程用于推

6、荐Images from:HLLM:Enhancing Sequential Recommendations via Hierarchical LargeLanguage Models for Item and User Modeling精调阶段，从短序列拓展到长序列目录目录p 推荐研发现状p LLM特征增强p LLM推荐架构设计p ID协同-LLM语义联合建模二、二、LLMLLM As As 推荐系统增强组件推荐系统增强组件工业界推荐召回工业界推荐召回/精排以精排以IDID建模为主建模为主目标：利用LLM对物品进行知识表征，缓解冷启动，提高分发现状：原始文本信息存在不连贯、噪声、冗余，表征效