陈晓伟-淘工厂智能客服托管.pdf

1、陈晓伟基于基于LLM的淘的淘工厂智能工厂智能客服托管客服托管实战实战01淘工厂智能客服的演淘工厂智能客服的演进路径进路径02商品知商品知识源构建识源构建&RAG030405LLM在在线推理及幻觉优化线推理及幻觉优化客服客服Agent能力升能力升级级总结及展望总结及展望01淘工厂智能淘工厂智能客服客服的演的演进路径进路径淘工厂智能客服演进路径n LLM下的智能客服智能服务链路构建、大模型知识问答以离线知识生产为主，核心提升售前智能知识覆盖智能客服1.0智能客服2.0构建Agentic workflow在线大模型框架，通过拟人化风格对齐、COT推理、RAG、偏好优化等方式，提升模型准确率以及满意度

2、构建智能服务售前后Agent，并基于意图理解&澄清、自主规划、工具调用等AI能力，重塑智能客服托管的体验和效率智能客服3.0从离线到在线，再到Agent化，全面重塑智能客服系统，降低服务成本，提升消费者体验智能客服1.0（提智能知识覆盖）智能客服2.0（在线提升满意度）智能客服3.0（Agent重塑体验）Qwen7B/Qwen72BQwen-MaxQwen3-30B-A3B底座大模型Qwen-VL系列多源知识库意图知识库商家知识库QA知识库意图知识库多模态知识属性知识历史会话SKU知识OCR知识同款商品知识商家补充知识主图挖掘知识商品评价核心能力在线应用QA知识生产垂类大模型微调SFT(DML

3、oRa)偏好优化(MPPO等)COT/拟人化Agentic-workflow化Agent规划执行Multi-Agent意图识别QQ匹配在线问答大模型差异化场景大模型在线问答Agent工具协同能力售前后AgentAgent评估技术演进框架02商品知商品知识源构建识源构建&RAG商品知识构建一个商品到底有哪些知识？标题、主图、权益等文本评价宝贝详情OCR卖点及产品特性直播看点商品知识特点：商品知识来源丰富，多源多样（文本知识、图片知识、视频知识）且非结构化商品知识构建n核心优化点文本模态：进行评价负向识别及过滤、语义切割、GTE的向量表征、TopK向量检索等技术，提升知识丰富度图片模态识别：对图片

4、OCR识别、数据清洗、空间聚类、LLM产出相关问题列表，向量表征及入库，在线做RAG检索音视频模态识别：直播看点挖掘，建设基于paraformer和PAI的音频识别算法服务电商智能客服RAG在在线问答链路线问答链路智能客服智能客服RAG03LLM在在线推理及线推理及幻幻觉除觉除大模型幻觉问题n 什么是幻觉n 幻觉产生的原因大模型产生的看上去“合理”但实际错误的内容，通常称为“大模型的幻觉”n 幻觉如何消除1.Hallucination is Inevitable：An Innate Limitation of Large Language Models2.A Survey on Halluci

5、nation in Large Language Models:Principles,Taxonomy,Challenges,and Open Questions 数据质量：Pre-training阶段，训练样本噪声，过时的训练数据以及数据分布的差异；Post-training阶段，SFT、RLHF 模型的指令：模糊的指令，不清晰的Prompt 大模型生成机制：自回归机制，本质上是下一个token的概率预测 核心在Post-Training阶段和Prompt工程 SFT、偏好优化、COT、RAG等垂类SFT优化n LoRA存在的问题1.LoRA:Low-Rank Adaptation of L

6、arge Language Models.2.DMLoRA:Dynamic Multi-Subspace Low-Rank Adaptation.对于预训练参数 W%，W=将低秩参数进行分解B=/,1,3A=/6,16,36 其中 7,7均为列向量更新参数矩阵可表示为:=A=77637 静态权重分配从低秩分解的角度，LoRA的微调参数在训练完成后每个rank的权重是静态的，对于所有的输出采用相同的处理方式，灵活性不足。缺少对高维特征细粒度优化LoRA在处理高维输入特征时，采用的是将这些特征作为一个整体进行处理的方法，在捕捉输入特征中的细粒度模式和复杂结构方面存在一定的不足DMLoRA动态多子空