AICon：OmniCache以内存为中心的KV管理与加速.pdf

1、OmniCacheOmniCache：以内存为中心的：以内存为中心的KVKV管理与推理加速管理与推理加速演讲人：Ken Zhang华为/高级技术专家目录目录010203040506挑战：HBM成为推理瓶颈从 KV 存算分离到以内存为中心KV 传输掩盖与Kernel直接访存PageAttention or Not？KVM 与推理引擎解耦和服务化部署KV fabric 实现全局共享问题与挑战问题与挑战以以 HBM HBM 为中心的为中心的 KV KV 管理架构面临的挑战管理架构面临的挑战KV Block Pool 启动时固定分配，无法动态回收MoE 专家负载不均 激活显存飙升 OOM被迫保守设置

2、max-num-batch-tokens 上限，硬件利用率不足718B模型PD分离导致ping-pong效应，序列再减半，APC接近0HBM KVHBM KV静态预分配静态预分配PagedAttention 将 block 分散在 HBM 各处Block Table+Slot Mapping 增加每个算子复杂度框架的大部分时间花费在了Attention Metadata构建和维护上新 Attention 算法开发门槛高地址非连续地址非连续无 head 维度的 latent KV 无法按 TP rank 切分TP16 16 份完全相同的 KV 副本Context Parallel 引入 all-

3、gather 通信开销MLA MLA 在在 TP TP 下冗余下冗余 每个推理实例独立维护 KV Pool APC 仅限单实例 HBM（6-10 GB）PD 分离每次全量搬运 KVPrefill KV在D侧冗余Decode KV在Prefill无法访问KVKV跨实例不共享跨实例不共享挑战：挑战：HBM HBM 成为推理瓶颈成为推理瓶颈五个第一性原理的拷问？五个第一性原理的拷问？问题问题二：二：互联带宽能否在计算间隙完成逐层 KV 搬运，使搬运不上关键路径？问题问题四：四：KV Cache 的生命周期是否必须绑定到推理引擎进程？问题问题三：三：PagedAttention 的非连续块寻址，是必然

4、形态，还是一笔可以偿还的历史债？B BOmni CacheOmni CacheSP PH H问题问题五：五：把 host memory 统一编址成全局 KV 池，能否一次性收敛 KV 共享的所有挑战？HBMHBMBandwidthBandwidthKernelKernelPERSISTENCYPERSISTENCYSharingSharing问题问题一：一：不参与本步计算的 KV，是否必须占用 HBM 这一稀缺的高带宽资源？KOmni Cache以内存为中心的架构问题一 不参与本步计算的 KV，是否必须占用 HBM 这一稀缺的高带宽资源？Omni Cache Omni Cache 原理与收益来

5、源原理与收益来源Host Memory Block PoolHost Memory Block Pool TB 级容量（对比 GB 级 HBM）所有 TP rank 和实例共享同一份 KV 彻底消除 MLA 冗余 原生 APC 支持 block 数量提升 100HBM HBM 连续地址缓冲区连续地址缓冲区 每请求连续虚拟地址空间 两步式 VMM：先预留 VA，再按需绑定物理页 无需 Block Table 和 Slot Mapping 大幅简化 Attention 算子开发逐层异步搬运逐层异步搬运&跨机按需访问跨机按需访问D2H scatter 与下一层计算重叠H2D gather 与 Att

6、ention 计算重叠自研 Device 端 kernel：gather 117 GB/s vs 60GB/s节点间RDMA/HCCS单边访问26GB/104GB目标：对推理性能零影响效果效果：非计算非计算KV KV 零零HBMHBM占用占用 DSA DSA 80%+KV 80%+KV 卸载卸载 DSA DSA Decode Decode 并发提升并发提升 4 4 APC APC 容量提升容量提升 1010100100 MLA MLA 零零冗余冗余核心定义核心定义KV BufferKV Buffer：参与当前attention计算 KV CacheKV Cache：不参与，或部分参与 以DRA