《1-杨宝松-Bestcase—接口热度代码覆盖和智能用例推荐.pdf》由会员分享,可在线阅读,更多相关《1-杨宝松-Bestcase—接口热度代码覆盖和智能用例推荐.pdf(41页珍藏版)》请在三个皮匠报告上搜索。
1、BestCase接口热度代码覆盖和智能用例推荐2023 深圳站杨宝松2017今 阿里巴巴1688技术部 测试开发专家负责无线测试团队工作,含项目整体交付、端特性测试专项建设、体系化测试平台建设等20152017 网易网络(杭州)科技有限公司 测试负责人负责网易金融团队测试工作,含项目整体交付、测试工具研发等相关工作20132015 恒生电子股份有限公司 测试开发负责投资管理系统全链路测试以及自动化能力建设相关工作2023 深圳站目录CONTENTS!#$01%&(02 !#$03%&(05 )*+,06 -./004 2023 深圳站01背景介绍2023 深圳站背景介绍-接口测试发展历程纯手工
2、测试脚本化测试平台化配置流量化测试智能化测试产品化配置,快捷规则,方便用例编写海量用例,真实流量,方便数据构造算法能力与测试能力结合,智能提效2016年2000年左右1997年上世纪90年代2020年左右2023 深圳站背景介绍-接口测试平台能力建设现状HTTPRPC协议DUBBOHSFMTOP接口类型HTTP协议入参返回获取方式用例组成断言校验方式驱动执行方式脚本工具场景配置流量录制代码分析人工识别脚本编码用例保鲜方式代码分析人工维护分支部署代码分析人工维护流量采集手动确认快捷规则平台分类代码分析人工维护流程编排变更触发定时巡检快捷规则批量设置流量采集手动确认变更触发定时巡检2023 深圳站
3、背景介绍-接口质量保障体系接口质量保障体系1.0多端并存架构复杂高业务高速迭代部门现状测试资源紧张质量要求较高脚本化方案流量化方案HSF/DUBBOMBOXFAAS接口类型众多HTTPMTOP配置化方案多方案适配解决暂无方案FAAS发布网关发布应用发布配置发布发布频率较高定制化平台发布日均发布百余次最小成本完成接口质量保障体系,但存在诸多问题和隐患2023 深圳站02待解问题2023 深圳站待解问题入参及断言的覆盖程度难以度量内部接口逻辑覆盖程度难以度量用例编写成本高用例质量难度量首次及后续维护接口用例时,需要大量人工介入,沟通确认成本较大接口出现变更时,多平台进行用例保鲜成本较大接口繁杂难收
4、敛接口类型繁多且复杂度较高,无统一校验方案过多依赖三方平台,成本难以控制,校验稳定性难以保障2023 深圳站03解决思路2023 深圳站解决思路流量化方案,快捷构造接口用例智能推荐接口用例,度量接口用例质量建设高可用多接口适配的平台产品自主研发接口测试平台,支持域内所有的接口类型校验针对接口发布渠道,进行变更拦截,高可用保障接口质量通过获取线上流获取接口协议及入参,真实高效的构造接口用例获取用例执行时的热度覆盖行,迭代式度量当前用例质量及接口覆盖情况通过入参、返回、热度行及接口测试结果作为因子进行用例入参及断言推荐自主研发接口平台,高效快捷获取用例,以最小量级的接口用例完成热度行覆盖2023
5、深圳站解决思路-建设支持多接口高可用的接口测试平台接口质量保障体系2.0应用发布配置发布网关发布发布渠道用例管理接口校验方案函数发布流量采集入参甄选脚本编排JSONPATH接口协议流量采集人工确认保鲜方式流量补充定制化平台发布变更校验识别变更获取用例并发执行状态仲裁通知触达人工确认断言规则流程编排虽然完成多接口、高可用、高效率的接口测试平台,但线上仍有部分问题遗漏2023 深圳站解决思路-概念陈述-热度热度概念大于等于N%比例流量能够访问到的代码行低于N%比例流量能够访问到的代码行从未被访问到代码行2023 深圳站解决思路-概念陈述-模块沙箱模块Repeater模块(提供接口完整入参及返回信息
6、)Trace模块(提供接口完整映射行覆盖信息)agent启动初始化上下文鉴权配置过滤事件分发格式化数据数据上传agent启动初始化上下文鉴权配置过滤事件分发格式化数据数据上传代码行采集入参返回采集RepeaterTracetraceId接口入参接口返回值traceId行覆盖信息traceId2023 深圳站解决思路-智能推荐接口用例,度量接口用例质量接口质量保障体系3.0接口校验方案接口分析协议获取变更分支字段特征行信息特征结构特征结构特征字段特征入参断言入参断言接口分析保鲜方式流量采集入参推荐断言推荐二次确认repeater采集trace采集聚类分析关