5-AI驱动的测试新范式从智能用例生成到视觉自验证的闭环实践-李林波-0708.pdf

1、AI驱动的测试新范式从智能用例生成到视觉自验证的闭环实践李林波分享人简介 先后就职于网易、腾讯、腾讯音乐 主导构建酷狗音乐AI驱动的质效体系 主导酷狗音乐效能平台和自动化能力建设李林波腾讯音乐(酷狗业务线)-高级测试开发工程师目录ContentAI生成用例Part 1 Part 2 基于视觉大模型的AI用例执行AI生成用例方案、AI生成用例技术Part 3 未来规划AI生成用例质量保障，共性问题 费时费力：用例编写耗时占比 30%质量暗礁：异常、性能、合规等场景遗漏 人才瓶颈：依赖专家经验传统用例开发困境AI工具认知偏差一句话指令 生成低质用例 调试耗时 放弃 错误认知链条：常见陷阱：忽略 P

2、rompt 工程，缺少业务知识，无格式规范 智能、高效生成用例 多类型用例扩展与用例补充 业务知识/测试方法沉淀 Prompt 组装工程化 自动知识注入与手动注入协同 用例生成格式标准化建设通用AI用例生成平台AI生成用例三大瓶颈场景覆盖不全边缘场景遗漏异常场景未覆盖性能场景缺失用例格式散乱粒度过粗/过细步骤逻辑混乱用例风格不一领域知识缺失业务特定功能公司专业术语行业规范突破方案：Prompt 工程+领域知识注入Prompt工程与知识库双引擎Prompt工程优化知识库赋能落地实战：酷狗测试用例AIGC实践|K歌需求P0用例AI生成实践|车载AI单测用例生成实践3历史用例、专业术语2API文档、

3、代码MR1模块Bug、修复方案风险技术业务RAG(检索增强生成)功能描述原子化 角色锚定：你是酷狗音乐测试架构师 功能解构：动词+对象+约束公式拆解需求验证VIP歌曲播放在非付费用户场景下的30秒试听截断功能生成格式标准化测试步骤和预期结果不超过50个字，不超过3个检查项 框架限定：功能点+验证点+步骤+预期结果 粒度控制：明确对象，量化要求AI生成用例-方案智能生成、智能丰富、智能补充AI生成用例演进过程系统框架和业务流结合需求、业务知识库等数据，设计合理prompt，搭建精调模型3步智能生成用例智能生成用例智能生成用例效果-3步生成用例思路：梳理生成用例过程，确定生成过程变化的“变”与“不

4、变”，扩展“变”的部分 生成用例，输入不同的业务知识和prompt，AI模型会返回不同的结果 通过调整业务知识和prompt，使模型分析出更丰富的用例智能丰富和智能补充用例针对不同用例类型制定合适的prompt智能丰富和智能补充用例-prompt例子智能丰富和智能补充用例-效果批量生成多类型AI用例，并智能补充用例，提升用例覆盖面按需选择测试类型补充用例进一步提升生成用例准确性通过交枪业务，持续提升用例生成准确性进一步提升生成用例准确性-效果交枪业务知识库、测试类型、测试方式的配置，可组合生成合理的PromptAI生成用例效果总结prompt工程业务知识测试方法测试类型配套模块AI生成用例-技

5、术prompt召回、历史用例召回(RAG)、历史背景召回(GraphRAG)、垂类模型、图片解析AI生成用例技术-Prompt工程解析用户输入，提取出知识库内容，拼装成完整的 PromptAI生成用例技术-历史用例召回(RAG)LLM 解答问题或创作文本任务时，会在大规模文档库中搜索并筛选出与其紧密相关的素材通过在配置已有的知识库能力,召回历史参考用例,衔接llm节点调快速完成AI生成用例技术-历史背景召回(GraphRAG)图片来自Microsoft GraphRAG论文文本块拆分LLM分析实体与关系提取生成实体与关系检测与识别社区生成社区摘要流程概述各业务功能拆分功能实体知识功能相互关系功

6、能块功能块摘要业务历史背景召回(GraphRAG)-构建知识图谱业务线文本块(拆分)业务线模块功能点实体关系历史背景召回(GraphRAG)-加入业务背景生成效果对比不理解业务结合业务背景生成AI生成用例技术-垂类模型训练第一步：选择模型(qwen2.5)第二步：LoRA轻量级微调核心思想：在不改变原始模型参数的情况下，通过添加低秩矩阵来捕捉任务特定的知识,从而在特定子任务上训练预训练模型时，仅通过较少参数的微调便可以实现在当前子任务上达到全量微调80%以上的性能.微调训练数据准备指令筛选输入：业务需求、业务知识输出：历史用例AI生成用例技术-垂类模型训