A5--徐志刚苗悦莹--基于AI录制回放的自动化探索与实践.pdf

1、基于基于AIAI录制回放的自动化探索与实践录制回放的自动化探索与实践徐志刚、苗悦莹bilibili质量保障中心徐志刚徐志刚上海哔哩哔哩科技有限公司-质量保障中心哔哩哔哩质量保障中心资深测试开发工程师，目前主要负责：AI在自动化测试中应用，期望基于大模型多模态技术构建自然语言UI自动化平台，支撑主站/直播/漫画等多业务线测试效能提升。移动端质量基础设施：智能Monkey遍历引擎,兼容性测试框架。曾就职于网易游戏测试工具中台，负责测试工具开发。目录目录CONTENTS传统UI自动化的困局与AI带来的曙光0102 AI驱动的自动化引擎 应用AI录制回放的自动化实践03未来展望04PART 01PAR

2、T 01传统传统UIUI自动化的困局与自动化的困局与AIAI带来的曙光带来的曙光传统传统UIUI自动化的困局自动化的困局测试对象连接方式自动化框架测试用例浏览器DriverAdb守护进程HDC守护进程USB/网络隧道传统传统UIUI自动化的困局自动化的困局测试对象连接方式自动化框架测试用例浏览器DriverAdb守护进程HDC守护进程USB/网络隧道step1:点击邮箱输入框step2:输入邮箱xxxxstep3:点击密码输入框step4:输入密码xxxxstep5:勾选同意协议勾选框step6:点击登录断言1:验证登录成功用例1:用账号xxx，密码xxx登录，验证登录成功用例2:用账号xxx

3、，错误密码xxx登录，验证登录失败AIAI带来的曙光：视觉模型带来的曙光：视觉模型Qwen2.5-vl-max-latest任务1：识别图片中全部控件任务2：请完成操作：点击我的按钮图像模型+任务大模型输出PART 02PART 02AIAI驱动的自动化引擎驱动的自动化引擎基于基于AIAI的测试用例执行流程的测试用例执行流程step1:点击邮箱输入框step2:输入邮箱step3:点击密码输入框step4:输入密码xxxxstep5:勾选同意协议勾选框step6:点击登录断言1:验证登录成功success:true执行操作success:false测试用例执行失败测试用例基于基于AIAI的测试

4、用例执行演示的测试用例执行演示 问题1：特殊控件无法识别 问题2：测试用例的描述影响执行结果 问题3：测试用例执行效率低 问题4：控件坐标识别不准测试用例执行的问题与挑战测试用例执行的问题与挑战问题问题1 1：特殊控件无法识别：特殊控件无法识别问题：特殊控件大模型无法识别，比如点击图片中的弹幕开关解决方案：将特殊控件用自然语言描述之后，添加到提示词里面问题问题2 2：执行结果依赖于测试用例的描述：执行结果依赖于测试用例的描述问题：不同的描述方式，执行的结果可能不一样解决方案：控件添加修饰词优化前优化前优化后优化后点击书架按钮点击底部的书架按钮点击上瘾机制视频封面点击第一个视频封面问题问题2 2

5、：测试用例自动生成：测试用例自动生成-统一用例描述风格统一用例描述风格测试步骤生成提示词要求：1.添加控件的大概位置：左上角/右下脚/底部/顶部2.忽略具体的细节：数字，内容相关文本3.相同控件，添加第几个的描述断言生成提示词要求：1.结合整个测试步骤，不要针对单一测试步骤添加断言2.断言添加情况：弹窗/数据变化/达成用例最终业务目标3.断言是直接陈述验证结果，不使用“是否”“是否成功”等模糊语句问题问题2 2：测试用例录制演示测试用例录制演示问题问题3 3：执行效率低：执行效率低用例耗时统计用例耗时统计用例个数6个测试步骤61步总耗时14min平均耗时14s单步耗时统计单步耗时统计截图1-2

6、s视觉模型决策10s执行操作1s默认等待时间1s数据分析-执行效率低解决方案实际上并不是每个步骤都需要大模型来做决策的，比如输入，或者简单的滑动操作可以直接通过命令去执行问题问题3 3：执行效率低：执行效率低-操作分类操作分类步骤描述步骤描述类型类型输入输入文本文本断言断言等待等待时间时间简单简单滑动滑动滑动滑动方向方向滑动滑动次数次数滑动滑动时间时间链接链接是否需要大模型是否需要大模型step.点击文本输入框click-false-step.输入文本：testinputtestfalse-step.等待3swait-false3s-step.向上滑动屏幕*3swipe-false-trueu