中国科学技术大学：2023大模型推荐技术及展望报告（40页）.pdf

1、User Identification and Recommendation for Shared Accounts1958University of Science and Technology of China大模型推荐技术及展望冯福利 博士2023/81958University of Science and Technology of China1.推荐及LLM简介2.LLM赋能推荐系统3.大模型推荐展望1推荐方法的本质2q 本质：拟合历史用户行为数据，预测未来用户行为阶段1：在历史数据里学阶段2：预测用户下一个喜欢的物品User：行为多样、模式复杂，受众多外界因素影响Item：ite

2、m间众多低频关联，不断出现新item理解不到位，泛化能力差，推荐不满意大模型新范式NLP 2.0:统计模型NLP 1.0:字典/词汇表+规则早期200020122018NLP 4.0:预训练+微调+Prompt 模式进入大型语言模型（LLM）时代NLP 3.0:深度神经网络模型q 自然语言处理（NLP）领域的发展：3用简明的语句概括一下新闻的大概内容：“新华社电”智能涌现答案是：这篇新闻大概讲述了“阿根廷夺得世界杯冠军的历程”帮我概括一下NCF文章的主要内容好的，NCF利用神经网络对协同过滤信息建模英文中的“Good Morning”是中文的早上好学会了！“Good Morning”翻译成早上

3、好帮我用英文概括一下面这个中文博客“大语言模型”规划：先用中文概括，再翻译成英文”This blog isabout the LLM”泛化能力规划能力学会了！切分简化任务学会举一反三4知识模型Foundation LLM战狼讲述的是小人物成长为拯救国家和民族命运的孤胆英雄的传奇故事葡萄糖的化学分子式是C6H12O6爱因斯坦提出的质能方程是E=mc2勾股定理是直角三角形两个直角边的平方和等于斜边的平方人类的血液中含有红细胞、白细胞、血小板等不同种类细胞在位时间最长的皇帝(清)爱新觉罗.玄烨5推荐系统“馋”大模型啥？Learning：Pretrain-finetune,prompt learnin

4、g,instruction-tun.6User：行为多样、模式复杂，受众多外界因素影响Item：在物理世界中存在千丝万缕的关联，很多关联都很低频理解不到位，泛化能力差，推荐不满意 Architecture：Transformer,self-attentionRepresentation：Textual feature,text isall you needGeneralization&Generation：Few/zero-shot,cross-domain,knowledge,personalized gen.Chat Model：Well-trained models with extra

5、ordinary abilities推荐系统“馋”大模型啥？序列推荐：篮球序列推荐：篮球球球梅西梅西内马尔内马尔推荐可解释：篮球推荐可解释：篮球球球(喜欢运动）喜欢运动）对话推荐：今天没有篮球比赛可以看，对话推荐：今天没有篮球比赛可以看，我建议看看曼联踢利物浦的球比赛！我建议看看曼联踢利物浦的球比赛！推荐鲁棒性、用户历史为推荐推荐鲁棒性、用户历史为推荐未知任务：个性未知任务：个性化推荐，冷启动化推荐，冷启动推荐推荐Foundation Model序列推荐：篮球序列推荐：篮球球球梅西梅西内马尔内马尔推荐可解释：篮球推荐可解释：篮球球球(喜欢运动）喜欢运动）对话推荐：今天没有篮球比赛可以看，对话推

6、荐：今天没有篮球比赛可以看，我建议看看曼联踢利物浦的球比赛！我建议看看曼联踢利物浦的球比赛！推荐鲁棒性、用户历史为推荐推荐鲁棒性、用户历史为推荐Model 1Model 2Model 3Model 4未知任务：个性未知任务：个性化推荐，冷启动化推荐，冷启动推荐推荐传统范式大模型范式特点：小作坊，各自为战特点：工业化、统一化、标准化、一统天下q Open-ended Domains and Tasks推荐系统“馋”大模型啥？Learning：Prompt learning/instruction-tuning 1,2,3,5,6,9,128 Representation：Text is all