面向AI原生操作系统的算力生态重构：ROCm 7的演进与实践-何亚豪.pdf

1、面向AI原生操作系统的算力生态重构：ROCm7的演进和实践AMD演讲人:何亚豪2|PublicROCm软件栈软件栈龙蜥提供服务器基础设施，ROCm 扩展了它的AI 能力3|PublicROCm7-生成式生成式AI/大模型的全栈解决方案大模型的全栈解决方案算子通信库算子通信库编译器及其工具编译器及其工具ROCm运行时运行时AMD ROCm 软件栈软件栈实现从数据中心到消费端全覆盖的GPU平台开源社区的生态建设AI 模型算法应用模型算法应用4|PublicROCm7-生成式生成式AI/大模型的全栈解决方案大模型的全栈解决方案算子通信库算子通信库编译器及其工具编译器及其工具ROCm运行时运行时AMD

2、 ROCm 软件栈软件栈实现从数据中心到消费端全覆盖的GPU平台开源社区的生态建设AI 模型算法应用模型算法应用5|PublicROCm7 核心库核心库6|PublicROCm7 代际提升显著代际提升显著数据来源：AMD Advancing AI 20257|PublicROCm 实践实践1：AITER 算子库算子库算子种类算子种类具体实现具体实现Prefill AttentionFav3 FWD FP16/BF16Fav3 BWD FP16/BF16MLA FP16/BF16FA FP8 FWD+BWD(Block-Scale)Chunked-prefillDecode AttentionP

3、aged Attention FP16/BF16Paged Attention FP8 per-tensor quantPaged Attention FP8/INT8 with KV per-token quantKVCache Update&RotaryBatched DecodingMLA DecodingFused-MoeMoe-Sorting kernel and tiling solutionFP16/BF16 per-token Fused-MoeFP8/INT8 per-token Fused-MoeFP8 per-tensor Fused-MoeFP8/INT4 per-te

4、nsor Fused-MoeFused-FFNLow Precision GemmFP8 per-token/channel GemmFP8 Block Scale GemmINT8 weight-only GemmNormalization and FusionLayernorm+quant/shortcutRMSNorm+quant/shortcutCustom CommAR/AG fused with normalizationAR/AG quantized,Optimized hipgraph support8|PublicROCm 实践实践1：AITER 集成赋能集成赋能MoE模型推

5、理加速模型推理加速示例1：集成AITER Block-scaled FP8 GEMMPR 链接:https:/ FP8计算精度的同时，提升性能不会对整个矩阵应用单一的全局缩放，而是将矩阵划分为更小的块，并根据每个块内的值范围应用每个块的缩放因子vLLM 环境变量设置：VLLM_ROCM_USE_AITER 和 VLLM_ROCM_USE_AITER_LINEAR 都设置为 19|PublicROCm 实践实践1：AITER 集成赋能集成赋能MoE模型推理加速模型推理加速更多示例1.vLLM V1 集成AITER MLA KernelPR 链接：https:/ Deepseek-V3/R1,Ki

6、mi K2等模型在vLLM V1 版本下的性能2.AITER Biased Group TopK KernelPR 链接：https:/ V3的吞吐可以增加4.9%，TTFT延迟降低6.1%3.AITER Fused_MoE KernelPR 链接：https:/ Kernel 后端，从而确保 MoE 的高效执行4.针对Qwen/Qwen3 Triton Kernel 调优PR链接：https:/ https:/ MoE模型，提供面向AMD数据中心GPU的Triton 配置文件10|PublicROCm 实践实践1：AITER显著提升显著提升MoE模型性