REAL_智能体统一风险矩阵与自动化红队实践_v3_final.pdf

1、REAL 智能体统一风险矩阵智能体统一风险矩阵与自动化红队实践与自动化红队实践当 AI Agent 出了事，怎么分类、怎么测、怎么治演讲人：阿里 AI 红队负责人 宋奇钊(胖錿)AiCon全球人工智能开发与应用大会InfoQ 极客传媒阿里 AI 红队：智能体安全前沿风险研究100+顶会论文顶会论文安全与 AI 领域权威会议60+专利授权专利授权攻防技术 检测方法 安全架构深度参与深度参与国家国家 AI 安全标准安全标准GB/T 系列 TC260 治理框架 2.04 大载体大载体全形态攻击面覆盖全形态攻击面覆盖Cloud Mobile Desktop Hardware在多个主流 AI 产品中持续

2、发现高危漏洞，覆盖从模型训练到推理服务到用户侧 Agent 的全链路全链路阿里巴巴人工智能治理与可持续发展研究中心（阿里巴巴人工智能治理与可持续发展研究中心（AAIGAAIG）是阿里巴巴集团旗下是阿里巴巴集团旗下AIAI顶级研发团队，致力于利用顶级研发团队，致力于利用AIAI技术解决安全风险问题。技术解决安全风险问题。团队在顶级会议和期刊发表团队在顶级会议和期刊发表论文论文100+100+篇篇，专利授权专利授权6060余项余项。产品涵盖。产品涵盖内容安全、业务风控、网络安全、数据安全与算法安全内容安全、业务风控、网络安全、数据安全与算法安全等多个领域，为全等多个领域，为全球千万商家和十亿消费者

3、提供安全保障。球千万商家和十亿消费者提供安全保障。AIAI红队红队是是AAIGAAIG专攻专攻AIAI安全攻防安全攻防的的核心团队核心团队，国内最早系统性开展，国内最早系统性开展智能体安全研究智能体安全研究的组织之一。的组织之一。团队团队在主流在主流AIAI产品中持续发现产品中持续发现重大安全漏重大安全漏洞洞，成果发表于多个权威安全与，成果发表于多个权威安全与AIAI顶会，并深度参与国家顶会，并深度参与国家AIAI安全标准制定与监管合作。当前聚焦前沿安全标准制定与监管合作。当前聚焦前沿AIAI安全研究，攻坚覆盖云端安全研究，攻坚覆盖云端AgentAgent、端侧、端侧AgentAgent、AI

4、AI眼镜及智能硬件等全形态智能体攻击面挖掘与纵深防御。眼镜及智能硬件等全形态智能体攻击面挖掘与纵深防御。Token 制造制造 运输运输 消费消费,每一层都被打穿目录目录01为什么需要体系化为什么需要体系化现有方法局限 统计数据 紧迫性02REAL Matrix 三维坐标系三维坐标系REL 16 格 AgentChatbot03实战实战分析分析同一坐标两种形状 横向扩散 纵向穿透04从矩阵到自动化红队从矩阵到自动化红队以 Agent 测 Agent 安全水位度量05发展曲线与展望发展曲线与展望挡围盯 趋势信号AiConInfoQ 极客传媒01为什么需要体系化为什么需要体系化行业不缺风险清单，缺的

5、是能分类、能测、能治的统一坐标系收集49 产品的133 条 漏洞，风险极具增长行业不缺风险清单，缺的是能分类、能测、能治的统一坐标系经纬度只有两个数字却能定位地球上任何一个点我们需要类似的东西把千变万化的 Agent 风险，锁定到三个维度三个维度：为什么出事（根因）出了什么事（影响）在哪出事（层级）维度固定，攻击形态再怎么变，坐标系不用改坐标系不用改；格子空着的地方，就是下一个要打的靶下一个要打的靶REAL-智能体风险导航坐标02REAL Matrix 三维坐标系三维坐标系R E L 一个坐标系，回答根因/影响/位置一张图看懂AI智能体风险因为什么(R)造成 什么影响(E)发生哪里(L)?数据

6、来源：20242026 公开披露（CVE/GHSA/Bug Bounty/学术/厂商公告）6056116020406080R1 注入R3 基建R2 幻觉R4 滥用10147131050100150I 完整性C 机密性S 无害性A 可用性数量69665210020406080L0 基建L3 执行L1 交互L2 认知核心发现核心发现R1 注入+R3 基建=87%，两大主风险面；R1.2 间接注入（35 条）最高频I 完整性 62%说明攻击者追求的是代码执行代码执行/控制权控制权L0+L3=69%：主战场在运行环境与工具调用两端回头看133 条公开漏洞在REA