Gtest_【证券测试专场】-《面向UI自动化的计算机视觉算法服务中心开发实战》申万宏源尹飞.pdf

1、测无止境数智共进2024全球软件测试技术峰会北京 12月面向UI自动化的计算机视觉算法服务中心开发实战演讲人：尹飞2024年12月6日姓名：尹飞负责公司测试工具平台的研发、运营、运维工作，通过探索工具与DevOps结合，实现业务测试效果赋能。曾就职于百度，长期从事质量平台和智能化测试的开发、建设工作。在ICST会议，发表IEEE论文一篇。测试工具团队负责人 现状与问题现状与问题 算法服务中心架构设计算法服务中心架构设计 计算机视觉算子开发实战计算机视觉算子开发实战 效果与收益效果与收益大纲大纲现状与问题现状与问题证券行业测试特点：证券金融行业数智化改革，对于信息系统的测试质量和效率有更高要求。

2、行业系统非自研系统占比高，质量团队对于UI验收测试有更多的测试诉求。公司工具建设现状：公司UI自动化领域，实现了三端（移动、客户端、浏览器）全覆盖，UI自动化平台推广过程中，期望通过智能化技术提升测试能力，降低运维成本，但也发现若干问题。CSUI自动化测试平台WEBUI自动化测试平APPUI自动化测试平（TestIn）现状与问题现状与问题分类业务和平台的诉求能力工程架构视角存在问题算法能力视角存在的问题识别任务CSUI图片识别能力，辅助自动化平台驱动。耦合性：原有视觉算子和SpringBoot工程耦合，算子升级需要停服。同时无法支持线性扩容。性能差：执行机和算子都属于计算密集型任务，执行机性能

3、有瓶颈。智能化：原生智能化算法，python技术栈比Java技术栈更成熟。原有图片查找算法属于像素敏感型，对于分辨率抖动，出现误识别，识别能力待提升。相似度分析任务CSUI需要区域相似度对比，且识别差异区域，作为召回手段原有图片相似度算法，属于像素敏感型，且缺少差异区域的定位能力，召回手段不完善。WebUI需要区域图片相似度对比，且识别差异区域，作为召回手段。场景理解CSUI平台需要OCR识别的能力。原平台暂无法实现本地ocr识别能力，外部ocr无法接入使用。部分业务无法屏蔽验证码，需要自己训练对象检测模型实现验证码识别。定制化程度高，能力空缺移动App遍历测试和性能测试有异常检测和图片场景感

4、知的诉求。定制化程度高，能力空缺现状与问题现状与问题外部视角：UI自动化的智能化演进必经之路之一是计算机视觉技术。内部视角：如何构建低耦合、高性能的算法调度平台。内部视角：如何构建高灵活、易扩展的算法托管平台。高耦合 部署风险 性能下降 扩展受限定制化诉求 业务自有脚本集成 不同业务自有处理逻辑智能化诉求 Python语言相对JAVA在智能化处理方面有明显优势服务架构设计服务架构设计-调度侧，基于微服务搭建低耦合、可扩容调度侧，基于微服务搭建低耦合、可扩容APIAPI注册中心Gateway服务Excutor服务算子框架算子调度侧调度侧-算子的生命周期算子的生命周期算子的请求和使用过程1、使用者

5、发起Http请求。2、一级路由，通过App_name路由到指定算法模块。3、二级路由，可支持继续通过plugin_name实现二级路由到特定图像识别或者ocr识别任务算子。4、实现处理并返回请求。服务架构设计服务架构设计-算子侧，计算机视觉算法服务目标算子侧，计算机视觉算法服务目标算子能力完备度 OCR CV图像处理（传统算法，深度学习）文本分析扩展能力 支持多个算子的并存和快速扩展灵活性 方便的算子调用方式，支持图片url，base64，单图、多图传输 很低的算子接入复杂度计算机视觉算子开发实战计算机视觉算子开发实战-三种任务，识别、差异、理解三种任务，识别、差异、理解典型场景：差异检测、相

6、似度典型场景：OCR典型场景：查找服务Bajammal,M.,Stocco,A.,Mazinanian,D.,&Mesbah,A.(2020).A survey on the use of computer vision to improve software engineering tasks.IEEE Transactions on Software Engineering,48(5),1722-1742.计算机视觉算子开发实战计算机视觉算子开发实战-查找任务之普通模版匹配开发实例查找任务之普通模版匹配开发实例