A3--郑嘉庆--实时保障每一笔资金安全蚂蚁资损防控架构揭秘.pdf

1、实时保障每一笔资金安全,蚂蚁资损防控架构揭秘郑嘉庆蚂蚁集团 风险效能部 技术风险数据平台负责人郑嘉庆本先后就职于付宝、百度、陆所，对应系统、基础设施、数据系统、核对系统、团队管理等的建设略有得。2017年加蚂蚁集团技术险部，负责实时数据平台RMC系统和团队的建设作，同时孵化了智能化核对系统。RMC作为技术险核基础设施，承载千万级TPS实时数据流量的采集、建模、分析和计算，撑资损防控、攻防演练、变更防御、仿真环境、性能容量、应急定位、智能监控等应场景，实时保障蚂蚁户每笔业务请求的稳定可靠。蚂蚁集团蚂蚁集团 风险效能部风险效能部 技术风险数据平台负责人技术风险数据平台负责人嘉宾照片目录CONTEN

2、TS资损资损防控方法概述防控方法概述01 实时数据系统是关键基础02 专家经验与智能化互为补充03 总结与展望04 01资损防控方法概述重复扣款蚂蚁森林能量丢失币种错误技术风险保障业务稳定，提升用户体验与信任花呗借呗余额宝网商银行支付宝基金蚂蚁森林保险Alipay+芝麻信用出行类527大型稳定性故障类1218大型资损故障万人研发百万变更上万系统支付失败扫码失败金额错误券的超发地铁没扣款红包无法使用业务的复杂多变研发的复杂多变用户体验和信任的直接影响饿了么支付失败汇率错误信用分不准转账对象错误响应超时获取数据特定领域方案数据驱动是资损防控的关键思路资金关键五要素资损防控方法论常见防控手段关键支撑

3、T+1核对T+H跑批核对历史基线核对智能核对专家经验金额币种汇率状态账户关键要素的生产关键要素的流转关键要素的消费数据系统攻防演练标准化可靠性时效性可解释可回溯高吞吐02实时数据系统是关键基础一笔业务的技术表现非常复杂*取自内部链路排错工具，云图就资损防控而言，这里还缺少很多数据一笔业务请求横跨诸多业务BU、团队、系统、服务，库表，单元化环境，交错并行如何实时地识别每笔请求的资金要素？建立单笔模型刻画用户请求抽象：单笔数据模型资损防控变更防御应急定位流量回放MSGCALDAL需求：保障每一笔用户请求ResExpRPCReqStackInsertTraceID/流量染色TraceID/业务单号应

4、用系统进程内数据微服务调用数据业务数据库数据性能洞察映射应用将业务愿景映射到技术实现GW污点分析UpdateDelete(1)资损防控第一数据诉求在DB表分库分库分库触发队列裸数据队列订阅端聚合端本地缓存写读DRCDRCDRCHBase（Join data）Redis（Row data）:k=join v=pk:index=timestamp:TTL=Xmin:k=pk v=row data构建准实时DB数据流实现思路(binlog)joinjoinjoin各种消费场景（日常全流量运行）（时延敏感）业务无感 准实时 高吞吐 一致性 可回溯 成本可控 支持红蓝攻防演练 基于binlog构建实时数

5、据旁路 面向流式计算 基于位点和时间保障可靠性，故障后可回拉row row row row row延迟触发几十万逻辑表（几百万物理分表）业务App旁路(2)通过服务调用构建链路骨架构建实时Trace链路实现思路应用容器应用JVM进程Log Agentlogs进程内采集拉取解压压缩字典训练标记解析Trace缓存队列订阅端聚合端（Redis）压缩采集压缩字典同步分组Trace触发窗口Trace触发队列补全路由端(设置TTL)(乱序到达，延续TTL)场景映射分发各种消费场景（日常运行流量）（有效率监控，基于另一款产品的采样双端比对校验）真实链路的复杂性 更大的成本挑战 更大的异步化挑战 更大的性能挑

6、战 表达关联业务 复用缓存窗口思想 订制Redis逻辑，缓存计算于一体 按需构建和消费（需异常、问题）建设特征体系关联业务场景（下下页）tracelogsbizlogserrorlogs(几十万)(3)进程内数据为资损防控提供重要补充构建进程切面和采集实现思路应用容器应用JVM进程Log Agentlogs进程内采集压缩采集压缩字典同步服务端：复用上页的Trace流服务端心跳保活桩点下发任务管理流量监控熔断机制采集管控端灰度生效采集切面ASM字节码AOP切面拦截参数过滤Trace过滤枚举过滤组合过滤Mvel引擎流量决策（融入防控过程的自动采集任务）（数据