大规模语言模型在马上金融的应用实践.pdf

1、大规模语言模型在马上金融的应用实践单 位：马上消费金融股份有公司汇报人：肖冰时 间：2023年12月01/公司介绍 02 /马消已落地大模型场景介绍 03/营销外呼大模型应用实践目录04/经验总结和问题01公司介绍主要风险：1.大模型学习坐席对话，坐席的未识别违规对话也会被模型学到。2.大模型自身的幻觉、安全性、逻辑问题带来的新的风险。例如：“您的逾期金额是XXX，你的每月应该还的【利息】是XXX”“您的逾期金额是XXX，你的每月应该还的【金额】是XXX”从一个带有断句错误的从一个带有断句错误的BADCASEBADCASE开始开始马上消费，数智驱动的科技创新金融机构政府认可AI方面的主要成果0

2、2马消已落地大模型场景介绍 应用场景：电话销售 扩展场景：智能客服，智能催收 业务痛点：话术配置流程复杂，固化，不自然对话大模型文档大模型SQL生成大模型 基座模型：Bloom 2.6B 训练框架：单机8卡(A800)+Colossal-chat 训练数据：90万对话 训练时间：32h/epoch(全量微调）推理框架：单卡A800+FasterTF+Triton 推理性能：5.7ms/token（1TP）对齐 ：RLHF 提示词 :In-context learning、COT 线上 ：动态解码参数调整+NLP小模型 预处理 ：滑动窗口文本分段+段落向量 过程中 ：图表解析 后处理 ：生成结果

3、与文档内容对比和定位 预处理 ：基于SQL质量辨别模型的预处理 过程中 ：引入数据schema知识 后处理 ：可执行性校验 基座模型：根据下游场景选择 训练框架：单机8卡+DeepSpeed 训练数据：10万 训练时间：N/A 推理框架：N/A 推理性能：N/A 基座模型：sqlcoder 15B 训练框架：单机8卡+Deepspeed（二次预训练）训练框架：单机4卡+Lora+pytorch accelerate 训练数据：马消海量带注释SQL 推理框架：单卡+FasterTF+Triton 推理性能：N/A 应用场景：给定文档的知识问答 扩展场景：知识管理，员工培训 业务痛点：文档理解和知

4、识更新，耗时低效 应用场景：数据答疑 扩展场景：客服中的信息查询 业务痛点：DB数据的定位和正确应用越来越困难目前阶段：电销大模型6月份上线，目前 数百万外呼/日；催收外呼大模型9月份上线；客服辅助大模型9月份上线，客服提前结清等子场景12月份上线。目前阶段：落地马消知识中台、在线客服的智能辅助等场景。目前阶段：已支持马消内部数据分析师、风控团队研发、工程研发提效；未来支持AI_BI场景。特殊处理应用情况对话文本代码马消已落地大模型应用基本信息1.硬件部署2.训练加速4.模型验证和服务 GPU 选型 机柜（高电,网络）机房（网络 IB/RoCe）数据并行 模型并行 流水线并 checkpoin

5、t技术 offload技术3.推理加速 量化模型 算子融合 模型编译 硬件支持 流式推理 动态batch5.定研专属模型 快速验证开源大模型在场景上的效果 提供测试能力 *开源和GPT的gap *大批量数据试验 支持原生开源大模型（ChatGLM、baichuan、Llama、Bloom等）可直接测试效果 提供远程调用接口，计算资源弹性扩缩容 管理、监控预警 适配定制研发业务需要定制化模型 解决 *开源模型定制化 *场景数据对接 *业务系统对接 *模型自动化迭代马消大模型基础能力建设03外呼大模型应用实践3金融业数字化转型进入新阶段关键在于智能营销体系的建立与突破，大模型大有可为 智能营销发展

6、经历了“产品导向客户导向用户导向全生命周期的线上化服务”的四个阶段，目前已进入营销4.0阶段，强调“以人为本”。在新时代的金融市场，面临着极致自动化和全真互联的新发展挑战，这要求尽快探索有效、精准、智能化的营销体验。大模型应用优势大幅节省人力资源和时间成本通过海量合规话术的训练，确保外呼过程符合相关法律法规和合规要求大大减少了传统人工外呼中的客户意图理解错误和信息错误问题根据客户的特征和历史记录，提供个性化的推荐和服务传统人工电销合规性差，投诉及监管风险较高；致电效率低坐席能力参差不齐坐席招聘、培训、管理成本高，人员流失率高劣势传统智能电销劣势灵活性差：话术配置能应付的场景有限、对客户的异议问