08-wei-zhi-neng-zhu-ji-kubernetes-ai-he-gui-zhi-lu-fan-bao-fa-.pptx

1、为智能筑基：Kubernetes AI 合规之路适用范围:1.33-1.34,开源工程师,2025/11/15,范 宝 发,范宝发开源工程师,kubeadm approver、sig-storage reviewer,形象照,CONTENT,目录,01,标准,02,认证,Kubernetes AI合规诞生背景,AI/ML负载正成为云原生主流，但传统Kubernetes合规仅覆盖通用场景，缺乏对 加速器、拓扑、排队 等AI特有能力的统一评判。WG-AI-Conformance因此成立，在保持与既有Kubernetes合规完全兼容的前提下，制定追加规范，让平台方、用户和生态工具在同一基准上对话，降

2、低重复适配成本，加速AI业务落地。,简化使用门槛,让研发专注算法而非基础设施，加速AI/ML在Kubernetes上的采纳。,确保互操作可移植,避免云厂商锁定，确保工作负载在任意合规集群间可无缝迁移。,培育AI工具生态,形成可复用的模块化生态，促进基于Kubernetes的AI工具市场发展。,前提：只有通过标准Kubernetes合规测试的平台，才有资格继续挑战AI合规认证。,三大目标与一句前提,标准范围：明确界定，聚焦核心,在范围内(In Scope),用于调度、编排和执行的AI特定扩展专用AI硬件的发现、分配和管理对于AI/ML至关重要的特定存储、网络、安全性和可观察性配置和功能确保核心的

3、 Kubernetes 扩展点能够有效支持常见的AI操作模式,明确排除(Out of Scope),已经通过标准 Kubernetes 一致性测试的功能(除非需要特定的AI相关配置)对模型服务器和框架等组件进行测试(尽管本规范会提及这些组件的要求,但不会提供全面的测试),统一标准：聚焦AI负载共性需求,本规范不单独为训练或推理设立分支，以维持最小可行集合。通过定义“必须(MUST)”和“推荐(SHOULD)”两级要求，既保证基础能力完整，又给不同架构留下弹性。,Accelerators,加速器与资源分配,Networking,推理流量与网关能力,SchedulingOrchestration,

4、调度与弹性伸缩,Observability,可观测性与指标采集,Security,安全隔离,Operator,AI Operator 兼容性,Storage,Maintenance&Repairs,故障探测、中断通知与成组维修,模型拉取、高速缓存,https:/,支持动态资源分配（DRA）API，实现超越简单计数的更灵活、更细粒度的资源请求。,提供可验证的机制，以确保在具有加速器的节点上正确安装和维护兼容的加速器驱动程序和相应的容器运行时配置。,公布已安装的加速器驱动程序的版本，这可能会影响工作负载兼容性。此版本信息必须作为 DRA 属性公开（例如）。,如果加速器支持 GPU 共享，则提供明确

5、定义的 GPU 共享机制，以提高不需要完整专用 GPU 的工作负载的利用率。,如果支持硬件级分区，则一旦支持，这些部分 GPU 资源就应该通过 DRA 作为不同的可调度资源公开。如果支持基于软件的共享（例如时间分片），则应使用设备插件来允许 GPU 的超额认购，并提供通往 DRA 的前瞻性路径。,Accelerators,如果平台支持虚拟化加速器技术（例如 vGPU），则这些虚拟设备也应该可以通过 DRA 公开和管理（一旦得到支持），从而与物理的 GPU 保持一致。,对于采用专用硬件拓扑的节点，应能够以结构化的方式发现有关加速器物理布局及其与高性能网络接口(NIC)的接近程度的信息。这包括但不

6、限于：,加速器之间的直接高速互连。加速器和 NIC 在节点物理拓扑上的对齐。,如果加速器和驱动程序支持，则应通过 DRA 属性公开此信息以启用拓扑感知调度。,通过实现推理服务的高级流量管理来支持 Kubernetes Gateway API，从而实现加权流量分割、基于标头的路由（针对 OpenAI 协议标头）以及与服务网格的可选集成等功能。,利用网络资源的 DRA 将 Pod 连接到多个网络接口。这是向 Pod 公开专用高性能网络接口的推荐方法，并且这些接口的特性应该可发现，以便实现明智的调度或工作负载配置。,Networking,支持网关 API 推理扩展的实现，该实现具有以下特点：,使用模