胡宜峰-面向内容风控垂直领域的大小模型研发实践.pdf

《胡宜峰-面向内容风控垂直领域的大小模型研发实践.pdf》由会员分享，可在线阅读，更多相关《胡宜峰-面向内容风控垂直领域的大小模型研发实践.pdf（38页珍藏版）》请在三个皮匠报告上搜索。

1、面向内容风控垂直领域的大小模型研发实践胡宜峰网易 算法专家目录010203040605背景与挑战大小模型协同与精度提升数据挖掘与成本控制小样本学习与效率增强动态推理与性能优化未来展望背景与挑战大模型VS小模型高成本延时能力强低成本快速能力有限大模型大模型LargeLarge ModelsModels小小模型模型SmallSmall ModelsModels大小模型协同大小模型协同 大模型能力强，但成本高、延迟高成本高、延迟高 小模型高效，但泛化能力有限泛化能力有限 真实业务需要：高精高精+高效高效+高并发高并发 单一模型难以满足复杂场景需求大小模型协同能力最大化成本最小化系统稳定性提升用小模型

2、承载规模，用大模型提升上用小模型承载规模，用大模型提升上限限协同架构示意图泛化能力与复杂的推理能力高效执行与实时响应能力大模型（Large Model）小模型（Small Model）协同目标参数反馈推理请求增量优化指令分发实时执行特定领域大模型小模型核心挑战精 度Accuracy效 率Efficient成 本Cost性 能Performance 通用泛化 领域适配 敏捷迭代 增量更新 数据成本 计算资源 高并发 低时延大小模型协同与精度提升内容风控场景特点大小模型协同核心思路复杂做复杂做简单做简单做难难简单简单复杂做复杂做简单做简单做难难简单简单过学习过学习欠学习欠学习多阶段大小模型蒸馏1、

3、基础能力迁移2、中间层监督3、任务适配微调初期只使用教师多模态大模型的最终输出对小模型进行蒸馏，让小模型快速获取新任务的基本能力。引入中间层蒸馏，让小模型内部表征像教师模型对齐，从而学习更深层次特征。以大模型蒸馏的小模型作为pretrain模型，进一步在目标领域进行微调优化，追求局部场景的极致效果。领域适配与高效微调InputEmbeddingMulti-headAttentionAdd&NormFeedForwardPositionalEncodingOutputEmbeddingMulti-headAttentionAdd&NormPositionalEncodingMulti-headA

4、ttentionAdd&NormAdd&NormFeedForwardAdd&NormN InputsLinearsoftmaxLORAQLORAAdapter TuningPrompt TuningLoRA-参数高效的卓越代表参数高效的卓越代表通过注入可训练的低秩矩阵间接更新权重，而无需改动原始参数。QLoRA-极致压缩的微调方案极致压缩的微调方案LoRA的“量化增强版”，通过将预训练模型量化为4位精度，进一步压低了微调的内存门槛。适配器调整适配器调整-模块化设计的智慧模块化设计的智慧一种“模块化插件”式的微调，通过在Transformer层中串行插入小型神经网络模块来适应新任务。提示调整提

5、示调整-轻量级的参数优化轻量级的参数优化不改变模型自身，而是通过优化输入提示词的嵌入表示来引导模型输出。多级动态推理大小模型协同架构Harder Visual Encoder Text EncoderFv=VisEnc(I)=TexEnc(TK)Early Exit LLMClassifier Similarity Retrieval Layer 1Layer 2Layer NET 1ET 2Classifier 1Classifier 2Classifier NA man holding a shotgunA man holding a shotgunA man holding a pist

6、olEarly Exit LLMTag EnhanceTag EnhanceThis is a photo of a gunEasierThis is a photo of a shotgun with probability This is a photo of a pistol with probability Please provide the specific categories of firearms,and give a detailed explanation.Firearms can be categorized into several main groups based