李庆泉-质量大模型及其在接口测试场景下的实践.pdf

1、质量大模型及其在接口测试场景下的实践李庆泉 蚂蚁集团目 录CONTENTS1.大模型如何解决质量域问题2.质量大模型的构建路径3.质量大模型在接口测试中的实践4.未来展望大模型如何解决质量域问题PART 01大模型具有赋能软件研发全流程的能力需求文档（PRD）软件设计原型图UML图流程图环境搭建依赖树版本冲突软件开发类与函数数据结构复杂度质量测试验收测试单元测试Bug处理软件Li B,Wu W,Tang Z,et al.Devbench:A comprehensive benchmark for software developmentJ.arXiv preprint arXiv:2403.0

2、8604,2024.大模型在质量域下的应用场景测试用例生成测试断言生成测试输入生成质量知识查询问答故障定位/修复线上问题总结分析Wang J,Huang Y,Chen C,et al.Software testing with large language models:Survey,landscape,and visionJ.IEEE Transactions on Software Engineering,2024.大模型能够解决质量测试领域的哪些问题？质量测试覆盖率要求高自动化难度大人工成本高全面、准确地发现各种特殊情况与边界问题经验密度大、业务特异性高，难以自动化或手段难复用测试用例撰

3、写、质量问题分析等工作需要大量人工知识、经验严谨、全面1 12 2阶段能力继续预训练微调/对齐对话/服务领域知识注入多任务能力获取拓宽应用边界质量测试领域呼唤质量大模型LLMs as Brains知识中心质量知识质量知识业务经验业务经验语言理解语言理解执行中心服务中心基础质量概念问答基础质量概念问答端到端任务执行端到端任务执行质量工具调度质量工具调度外部知识增强问答外部知识增强问答质量大模型的构建路径PART 02质量大模型的构建路径数据构建数据构建模型训练模型训练部署应用部署应用非结构化数据结构化数据质量知识业务文档线上系统回流历史数据沉淀清洗与增强清洗与增强Continue Pre-tra

4、iningInstruction Tuning专业知识注入语言模型多任务能力Prompt设计端到端对话检索增强问答工具调用与执行更新迭代更新迭代评测指标问题归因数据飞轮继续预训练知识注入训练材料：知识构建知识来源质量域质量域业务域业务域其他背景其他背景知识处理切片切片聚类聚类数据增强数据增强知识质量筛选筛选清洗清洗数据分析数据分析训练对象：开源模型底座*不完全列举训练任务：语言模型训练任务：语言模型指令微调技能培训流程任务选取任务选取数据获取数据获取指令构建指令构建微调微调关键问题：质量域中的许多任务都是以结构化数据为基础，如何用基于非结构化对话形式的大模型完成结构化数据任务？解法在于如何针对

5、特定任务设计指令并进行微调两大类任务选取：质量/业务知识问答向模型提供基础的质量问答能力特定质量任务执行以端到端形式执行的质量任务，如测试用例生成等两大类数据来源：基础知识任务数据包括外部基础知识与内部的文档积累来源于真实场景的特定任务数据指令构建技巧：明确任务需求清晰描述任务的推理逻辑、执行步骤格式规约对格式进行严格规约，降低工程难度指令泛化增强鲁棒性微调注意事项：数据分布平衡各任务的数据分布，避免过拟合训练成本多卡训练、LoRA微调等，节省时间与显存成本应用方式作为端到端Bot上下文学习上下文学习逻辑构建逻辑构建1 Kang S,Yoon J,Yoo S.Large language mo

6、dels are few-shot testers:Exploring llm-based general bug reproductionC/2023 IEEE/ACM 45th International Conference on Software Engineering(ICSE).IEEE,2023:2312-2323.2 Fakhoury S,Chakraborty S,Musuvathi M,et al.Towards generating functionally correct code edit