1、从数据治理到基于知识图谱脚本生成探索之路华凯建|oppo华凯建oppo高级软件测试开发工程师多年测试开发工作经验,专注于利用ai技术推动测试创新与实践。在AI助力动效智能测试,测试框架及流水线构建,缺陷分析等领域有深入研究。目 录CONTENTSI.测试aw治理II.用例质量提升III.代码结构化知识图谱构建IV.脚本质量提升V.脚本生成落地VI.总结与展望问题引入AIGC测试脚本生成:为何陷入“高开低走”困境?输出即为高质量脚本一键生成生成结果时好时坏,难以信任脚本质量不稳定转向高附加值的工作解放人力成为可靠的自动化的环节工程化落地修改脚本的时间甚至超过手动编写调试成本高昂理想现实投入大量资
2、源,提效不明显提效难以衡量技术已就绪,但实践已证明,直接将原始数据喂给大模型,难以稳定地生成符合工程要求的测试脚本。追根溯源:四大因素,导致生成脚本质量差未经治理的数据,AI在生成脚本无法理解内在逻辑与规范,从而产出不可靠的脚本。测试脚本生成依赖要素AW接口用例文本信息相似历史脚本信息相似用例脚本代码相似操作代码对框架知识公共框架知识测试基类方法、属性信息框架执行调度信息领域信息领域A框架知识环境初始化信息UI控件配置信息领域B框架知识机械手操作配置信息 测试AW 质量堪忧1.问题:注释缺失、功能边界模糊。“脆弱”的适配性。2.影响:生成的脚本从根基上就是坏的。文本用例“噪音”充斥1.问题:错
3、别字、专业词汇滥用。需求描述存在二义性、操作步骤与预期结果不匹配。2.影响:ai无法理解需求,生成的脚本只能依靠瞎猜。脚本与用例严重脱节1.问题:脚本的实际验证点,与用例测试期望不相符。2.影响:AI无法从历史中的脚本信息,学习如何正确生成新脚本。框架知识未被有效利用1.问题:由于缺乏对代码结构和调用关系的理解,模型只能进行浅层模仿。2.影响:ai无法感知深层次的知识来生成脚本。破局之道:构建从“数据治理”到“智能生成”的高质量闭环企业/开源代码大模型aw质量提升用例质量提升语法树扫描有监督代码语料提取数据质量建设代码知识图谱向量库数据集规范检查&清洗微调RAGIde插件(用例生成工具)脚本质
4、量提升12346代码结构化知识图谱构建代码生成上下文增强检索任务prompt5工具开发测试aw治理PART 01AW质量与AIGC脚本生成的“垃圾进与垃圾出”不规范的AWAW作为脚本直接调用的、有意义的测试接口。是脚本构成的基石。输入输入大模型脚本AW注释主要问题:1.注释缺失 2.参数类型不正确 3.表述模糊不清晰 4.专业词汇不规范 5.功能标注不清晰 6.风格不一AW代码主要问题:1.功能未实现 2.功能不健壮 3.功能逻辑错误 4.性能低下 5.安全性缺陷 6.集成/兼容性问题图片摘自:刘琛梅.测试架构师修炼之道M机械教育初版社,2021:12.AW治理:设计大模型背景下的代码注释规范
5、从“为人而注”到“为人与ai共读”的范式转变高质量注释是最高效的“Prompt”函数作用简要描述函数的功能预用法参数说明明确入参/出参的类型、含义与约束使用限制指明使用场景、前置条件异常处理说明可能抛出的异常及含义。示例驱动提供1-2个典型用法示例,作为Few-shot Learning。大模型通过代码理解aw的挑战解决方案:通过注释理解,面向Ai的规范注释为何代码本身难以让大模型理解?复杂的依赖链函数内部调用其他函数,形成依赖网 Token长度限制数百/数千行的函数实现无法完整放入上下文窗口优秀的注释,是人与AI之间最可靠的契约。它不仅是文档,更是嵌入代码的系统Prompt,直接决定了模型的
6、理解效能与代码生成质量。AW治理:AIGC辅助代码注释的规模化落地实践从大量存量aw到增量aw的标准化注释全流程落地数量庞大大量AW函数需要标注人工成本极高纯人工方式耗时耗力,效率低下一致性难以保证不同人员标注风格不一,质量参差规模化注释的困境AI时代注释标准建设Prompt设计开发工具预标注人工校验Ci校验合入人工审核修正ci校验存量/新增aw是否标准化注释基于大模型代码注释,生成的代码注释质量较高,人工评估可用性在95%以上。核心思想当传统定位方式失效时,将UI的“视觉语义”与“代码结构”交由大模型理解,动态生成兼容性定位策略技术流程1.捕获现场:aw执行找不到操作元素时,捕获当前页面的信