陈磊 让每一个测试团队都能拥抱LLM：一个通用的智能化测试实践方案.pdf

1、G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站让每一个测试团队都能拥抱LLM一个通用的智能化测试实践方案姓 名：陈磊时 间：2025/10/17G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上

2、 海 站个人简介陈磊京东前测试架构师阿里云MVP、华为云MVP图书：大模型测试技术与实践、接口测试方法论、持续测试、现代软件测试技术权威指南、软件研发效能权威指南、京东质量团队转型实践：从测试到测试开发的蜕变决战618：探秘技术取胜之道软件研发行业创新实战案例解析极客时间专栏“接口测试入门课”拉钩教育专栏“软件测试第一课”G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站目录拥抱LLM提示词工程是最好的起点善用工具的测试工程师0203LLM的增速发展给测试工程师带来的冲击和挑战01大模型赋能测试工程师实践04总结和下一步计划05G OP S

3、全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站01冲击和挑战LLM的增速发展给测试工程师带来的冲击和挑战G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站智能化测试人工智能驱动测试，就是研究如何使用计算机去做过去只有人能够做的智能的测试工作内容。G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站提示词工程RAG微调训练智能化测试1.训练模型投入很大，一卡难求2.为测试训练一个foundation 模型ROI太低3.训练数据仅靠测试工程师很难完成标注1

4、.微调仍旧需要算力2.数据标注需要大量投入人力3.foundation model很强4.当前框架成熟例如unsloth等1.技术成熟，很多平台框架都支持2.数据整理相对容易3.foundation model很强4.很多lowcode的平台很容易上手1.入门门槛很低，但是做好难2.利用大模型能力的系统都需要3.框架多，难掌握难度投入G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站02最好的起点拥抱提示词工程G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站提示词框架从无到有零样本少样本C

5、oT举个例子问问题问题理解角色催眠问问题角色催眠步骤分解问问题在给定的向量空间里，构造一条“最短路径”把你的意图投影到模型可操作的子空间，并确保解码器沿这条路径，回到你想要的语义出口。G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站无提示词框架从有到无Google的实践APEBROKECHATCRISPECARECOASTCREATERACERISEROSESRFTSAGESCOPESPATAGTRACELangGPTReAct解题思路你是谁你在哪要干什么（分解）怎么告诉我G OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术

6、 峰 会 2 02 5 上 海 站无招胜有招要实现的功能类封装函数封装函数调用Prompt分解步骤处理单个逻辑函数调用实现flowG OP S 全 球 运 维 大 会 暨 研 运 数 智 化 技 术 峰 会 2 02 5 上 海 站有效的提示词离不开采样参数从需求生成测试用例的Prompt从需求生成测试用例的Prompt权重单词0.2cake0.1coconut0.002apple0.001durianTop-K=3权重单词0.2cake0.1coconut0.002apple0.001durianTop-P=0.3SoftmaxoutputsTemperaturesettingTempera