智谱 RAG 技术的探索与实践-柴思远.pdf

1、柴思远大模型商业技术中心/高级技术总监RAGRAG在智能客服领域在智能客服领域探索与实践探索与实践CONTENTRAG综述智谱RAG方案RAG实践未来展望01 01 RAGRAG综述综述RAG是大模型落地最多的场景大模型大模型应用场景应用场景调研调研行业行业具体应用场景具体应用场景汽车汽车 客户服务与支持：通过RAG，客户可以咨询车辆功能、维护、最新技术或政策法规相关信息。工程师研发：工程师利用RAG结合LLM检索技术文档、研究论文和专利信息，加速新技术研发。销售辅助：销售人员通过RAG检索最新车辆数据和市场趋势，为潜在买家提供个性化车型推荐零售零售 智能客服：结合RAG的LLM提供24/7客

2、户服务，快速检索产品信息。销售培训：利用RAG搜索相关资料，进行销售培训。自动化产品描述：LLM自动生成吸引人的产品描述和营销文案，RAG检索产品规格和用户评价，确保信息准确性和吸引力。文娱文娱 音乐与电影推荐：LLM结合用户喜好和历史数据，生成个性化音乐播放列表或电影推荐；RAG实时检索最新音乐和电影数据库，确保推荐时效性和多样性。互动式娱乐：在游戏或虚拟现实体验中，LLM作为虚拟角色AI与用户自然对话，RAG检索用户与角色间经历，丰富互动体验。粉丝互动：明星或品牌官方平台使用结合RAG的LLM回答粉丝问题，提供最新新闻和活动信息，提升粉丝参与度和忠诚度。金融金融 智能客服：结合RAG的LL

3、M提供24/7客户服务，快速检索金融产品信息，提供个性化服务与支持。保险销售辅助：RAG检索保险理赔条款，助力快速推动产品销售。医疗医疗 文献检索与分析：研究人员利用结合RAG的LLM检索医学文献和研究报告，分析数据，发现新研究线索和趋势。虚拟健康助手：结合RAG的LLM回答患者健康相关问题，提供个性化健康建议，检索最新医疗研究信息，教育患者。症状评估：LLM分析患者症状描述，RAG检索医疗知识库，提供诊断和治疗方案。24242020202014149 98 87 76 6外部客服外部客服文档撰写文档撰写图像生成图像生成数据处理和分析数据处理和分析内部知识库内部知识库辅助编程辅助编程视频相关场

4、景视频相关场景其他其他外部客服外部客服文档撰写文档撰写图像生成图像生成数据处理和分析数据处理和分析内部知识库内部知识库辅助编程辅助编程视频相关场景视频相关场景其他其他 索引（Indexing）检索（Retrieval）生产（Generation）什么是RAG知识及时更新避免人工整理FAQ增加问答知识范围的管理权限减少模型的生成幻觉增加内容生成的可追溯性增加了答案推理RAG的优势模型模型文本长度文本长度价格价格Claude Opus200kInput：$15/M tokensOutput：$75/M tokensGPT4-turbo128kInput：$10/M tokensOutput：$30

5、/M tokensGLM-4128k￥0.1/K tokensERNIE-4.0128k￥0.12/K tokensmoonshot-v1128k￥0.06/K tokens以GPT4为例：针对一篇20w字的小说提问：Long context，20w字全部输入给模型大约需要9元。RAG，大约只需要召回的6*600个字输入给模型，大约只需要0.25元。关键因素：成本关键因素：成本RAG VS long context02 02 智谱智谱RAGRAG方案方案文件上传用户提问输出答案文件解析剔除无关信息识别目录、标题等切片文章类型匹配规则切片长度构建索引query索引query改写query拆解qu

6、ery拓展语义补全路由向量化数据库多路召回语义检索关键词检索排序rerank模型LLMprompt模板small to big技术方案全景文章内容解析1.图片改写成特定标识符 2.表格改写成模型易于理解的html格式3.页眉页脚过滤无关信息文章结构切片1.目录&标题提取文档结构信息2.序列确保知识的连续我完整文档解析&切片问题 Embedding模型本身有窗口限制，文档切片过大而导致检索信息不准确方案 递归检索在原始文档切片基础上，扩展了更多粒度更小的文档切片。检索文档时如果检索到粒度细致的切片，会递归检索到其原始大切片，然后再将原始节点做为检索结果提交给 LLM。small to big解决