【OS2ATC】Confidential_AI开源解决方案最佳实践.pdf

《【OS2ATC】Confidential_AI开源解决方案最佳实践.pdf》由会员分享，可在线阅读，更多相关《【OS2ATC】Confidential_AI开源解决方案最佳实践.pdf（12页珍藏版）》请在三个皮匠报告上搜索。

1、Alibaba Cloud Confidential 阿里云商务机密Confidential AI开源解决方案最佳实践实现具有端云一体AI推理安全与隐私保护的Confidential Cloud Computing阿里云飞天实验室操作系统安全团队龙蜥社区云原生机密计算SIG Owner乾越AI推理场景中的数据安全问题AI数据的高度敏感性和高度隐私性决定了用户对AI Infra的安全和隐私保护能力提出了更高的要求模型使用者发送给目标推理服务的推理请求和响应结果，在整个推理过程中都是以明文形式存在。如果推理执行环境中存在后门（如推理服务、OS、中间件等），或AI Infra特权管理员主动作恶，推理

2、请求和响应结果存在泄露和被篡改的风险模型提供者注册到存储服务中的模型，在落盘存储前会以明文形式暴露给存储服务。如果模型是私有的，模型存在泄露风险如果模型是开源的，模型参数存在被篡改的风险模型提供者的模型在被拉取到推理执行环境后，在整个推理过程中都是以明文形式存在。如果推理执行环境中存在后门（如推理服务、OS、中间件等），或AI Infra特权管理员主动作恶，模型存在泄露和被篡改的风险基于机密计算技术构建的节点级安全架构Host OSCPUCPU TEE信任根VMMVMConfidential VMGuest OSGPU驱动容器AI工作负载+CAIGuest OSGPU驱动容器AI工作负载+CA

3、IGPUGPU TEEPCIe PF应用计算引擎DMAHBMPCIe通信链路加密CPU TEE与GPU TEE共同构筑端到端的密态计算环境平台特权管理员中间人平台特权管理员 处理用户敏感提示词的推理服务被部署在经过证明的CVM中，阻止特权管理员访问内存中的敏感数据 CPU TEE与GPU TEE共同创建了一个统一的可信执行环境，大幅度降低用户对AI Infra的安全依赖和信任成本 该可信执行环境为计算安全、存储安全和网络安全的统一TCB提供了信任基石Confidential AI方案的应用模式端侧执行环境硬件OS+驱动推理框架小模型推理环境CPU TEE+GPU TEE推理服务CAI Runt

4、imeGPU驱动Guest OS根据客户的数据出域要求提供不同的应用模式模型使用者模型提供者训练环境GPU训练集群资源调度系统训练框架大模型平台提供者模式一：推理提示词密态出域模型使用者：客户模型提供者：CSP或第三方平台提供者：CSP客户希望为其终端用户提供云端AI算力模型使用者：客户模型提供者：CSP平台提供者：客户模式二：模型密态出域客户希望在提示词不出域的前提下使用大模型Confidential AI：端云一体的AI安全与隐私保护方案利用机密计算软硬结合技术，从系统级安全角度为模型数据提供端到端的加密防护，大幅降低模型数据泄露风险AI推理服务实例端侧Trusted Network Ga

5、teway（TNG）Client推理程序存储服务（如OSS/NAS）Runtime TrustifluxTrusted Network Gateway（TNG）Server推理服务Attestation Agent（AA）Confidential Data Hub（CDH）模型提供者（云用户）TEE访问控制隔离推理过程密态计算执行环境最小TCB模型数据密态上云中间人外部攻击者云平台特权管理员用户可信域阿里云服务无需修改的组件CAI组件Trustee模型使用者（终端用户）模型数据密态拉取和解密提供可验证透明度推理过程安全可信Trustee提供可验证透明度异构服务器CPU TEE+GPU TEE同

6、构服务器CPU TEECryptpilot Trustiflux：CAI运行时Confidential Data Hub：Trustiflux主控managerAttestation Agent：远程证明代理Trusted Network Gateway：可信网关Cryptpilot：系统盘/数据盘加密和完整性保护 Trustee：CAI信任管理服务Confidential AI的安全能力涵盖计算、存储和网络的全密态解决方案Attestation-Agent：收集有关执行环境的可信状态Trustee：验证执行环境的可信状态并建立用户对目标执行环境的信任Attestability（兑现对用户声明