A4--郑林--智能Agent在测试中的实践与应用.pdf

《A4--郑林--智能Agent在测试中的实践与应用.pdf》由会员分享，可在线阅读，更多相关《A4--郑林--智能Agent在测试中的实践与应用.pdf（35页珍藏版）》请在三个皮匠报告上搜索。

1、智能agent在测试中的实践与应用郑林百度资深测试工程师姓名郑林 资深测试工程师百度资深测试工程师，从事测试以及相关工具开发10余年，熟悉软件，智能硬件等产品测试，参与起草行业智能硬件测试标准，并在多个测试行业会议中分享测试领域相关知识目录C O N T E N T S一.背景 1.1 探析大模型测试迟滞之因 1.2 剖析Agent与人机互动共融之效二.测试Agent实现与应用实践 2.1 直面挑战：核心难题与破局之道 2.2 重塑流程：Agent引领测试新纪元三、成效与展望 3.1 实战验证：各类项目实践效果 3.2 前瞻未来：Agent进化蓝图背景01探析大模型测试迟滞之因1.11.项目知

2、识梳理成本高1.1 背景：探析大模型测试迟滞之因VSpromt工程生成测试用例的效果很大程度上取决于输入数据的质量。如果输入数据不准确、不完整或存在歧义，那么生成的测试用例可能无法达到预期的效果。数据准备成本高为了获得高质量的输入数据，可能需要投入大量的人力和时间进行数据收集、清洗和预处理工作。这增加了测试工作的复杂性和成本，同时也可能影响测试工作的进度和效率。输入数据质量要求高1.1 背景：探析大模型测试迟滞之因2.难以覆盖所有场景和细节更新维护难随着业务变化，测试用例需不断调整和更新。场景多样性不同业务领域、应用场景需设计针对性测试用例。细节繁琐性需考虑众多边界条件、异常情况及数据组合。1

3、.1 背景：探析大模型测试迟滞之因3.可能产生无效或冗余用例，review和修改成本高无意义的测试场景01测试场景与业务逻辑或功能需求无关，无法有效验证模型性能，或者测试场景设计不合理，无法实际发生或无法模拟，缺乏实际意义。无意义的输入参数02输入参数与业务需求不匹配，超出合理范围，较多的异常取值，包括类型异常，关键参数缺失等多余的断言03对是否存在，是否包含等判断过多，特别是接口输出参数较多场景回归用例过多04由于没有获取准确完备的项目变更信息，仿照历史用例生成较多回归用例，特别是手工用例生成场景剖析AGENT与人机互动共融之效1.21.2 背景：剖析Agent与人机互动共融之效1.通过设计

4、良好的前端交互，降低agent落地效果预期010203提供多样化的结果：在交互界面中，展示多个生成结果供用户选择，以便用户根据实际需求筛选出最符合期望的用例。支持用户修正结果：提供便捷的修正工具，允许用户对选中的生成结果进行局部修改或调整，以满足个性化需求。实时反馈修正结果：在用户进行修正的过程中，实时展示修正后的结果，以便用户及时调整修正策略，提高修正效率。1.2 背景：剖析Agent与人机互动共融之效2.建立人机协同工作流程，完成复杂项目测试（流程）任务分配与接收人工根据任务需求，将任务分配给智能Agent或自己处理。智能Agent接收到任务后，进行自动化处理或向人工请求协助。信息共享与交

5、互人工与智能Agent之间建立信息共享机制，实时传递任务进度、问题和结果等信息。同时，通过自然语言处理等技术实现与智能Agent的有效交互。协同处理与决策对于复杂问题或需要人工干预的情况，人工与智能Agent进行协同处理。智能Agent提供数据和信息支持，人工根据专业知识和经验做出决策。结果反馈与评估任务完成后，智能Agent将结果反馈给人工。人工对结果进行评估和审核，确保任务质量和准确性。同时，根据评估结果对智能Agent进行优化和调整。01020304测试AGENT实现与应用实践02直面挑战：核心难题与破局之道2.12.1 直面挑战：核心难题与破局之道数据飞轮用户使用成本高用户使用频次低用

6、户数据少，项目优化迭代慢效果不满足预期核心难点：大模型效果不及预期，用户使用成本高，导致数据飞轮迭代缓慢项目知识不准确，不全面部分场景和细节缺失无效或冗余用例过多直接成本时间和精力投入 软硬件以及相关课程费用间接成本 新工具平台不稳定等带 来的质效风险沟通协助成本隐形成本认知负荷以及心里压力思维方式转变2.1直面挑战：核心难题与破局之道解决效果不满足预期问题：增强项目信息获取渠道项目知识不准确，不全面输入数据质量要求高数据准备成本高部分场景和细节缺失场景多样性细节繁琐性更新维护难建立项目信息索引查询项目信息问题有无命中cache大模型+promptQA代码库RD代码库项目历史知识库项目知识索引