生成式推荐引擎升级快手在线参数服务器性能与时延深度优化实践.pdf

1、生成式推荐引擎升级生成式推荐引擎升级快手在线参数服务器性能与时延深度优化实践快手在线参数服务器性能与时延深度优化实践演讲人：贾荣来快手 推荐架构高级专家目录目录010203040506业务背景：大模型时代面临的挑战核心目标：CPU算力失衡下的解决思路技术方案：RDMA重构通信链路技术方案：高性能存储引擎方案总结与项目成果未来展望业务背景业务背景大模型时代面临的挑战搜广推模型在线架构现状inferserverembeddingserver分片1分片2分片3分片N副本1副本2副本Mtcptcp存储引擎检索signsembeddingsserialization_buffserialization_

2、buffkernel_buffkernel_buffNICsignskernel_buff特征抽取NICembeddingskernel_buff模型推理serialization_buffserialization_buff计算-存储分布式架构InferEmbedding请求路径rpc大模型时代面临的挑战生成式推荐生成式推荐正在深刻重构搜索、广告与推荐（搜广推）系统的核心逻辑，推动其从“精准匹配”迈向“价值创造”，同时也带来了新的挑战。存储压力凸显存储压力凸显EmbeddingServer是内存Bound类型服务。参数规模、请求量激增参数规模、请求量激增稀疏参数的规模和维度不断增长，请求量大

3、幅增加。02020101存储集群规模膨胀存储集群规模膨胀通过增加集群机器数量（shard数和副本数）解决存储和网络带宽瓶颈。数据传输瓶颈数据传输瓶颈InferServer与EmbeddingServer间传输量增长，带宽不足。04040303现有架构局限性现有架构局限性网络拓扑复杂，难以做到线性扩展，亟需新一代软硬件协同设计。木桶效应恶化木桶效应恶化集群规模扩大后，网络扇出增大，慢节点拉低整体SLA，长尾延迟显著恶化。06060505高密机型可行性分析当前高密机型已支持2TB以上内存，满足大规模稀疏参数存储需求，显著减少EmbeddingServer集群数量，缓解木桶效应。内存容量突破内存容量

4、突破搭载最新多核处理器，单机算力提升3-5倍，但受限于摩尔定律失效，性能无法与内存同步线性增长。高性能高性能CPUCPU配置配置800G网卡提供超高带宽，理论上可解决InferServer与EmbeddingServer间的数据传输瓶颈，降低延迟。高速网络接口高速网络接口内存与网卡性能提升后，CPU易成为系统瓶颈，需通过架构优化避免资源利用率不均衡。硬件协同瓶颈硬件协同瓶颈核心目标核心目标CPU算力失衡下的解决思路CPU“减负”+“提效”RDMARDMA重构通信链路重构通信链路Kernel Bypass、零拷贝RDMA通信库AZ级RDMA网络环境高性能存储引擎高性能存储引擎哈希表方案SIMD（

5、单指令多数据流）批量请求下的预取流水软硬一体协同优化：高密计算存储分布式架构下的通信链路重构软硬一体协同优化：高密计算存储分布式架构下的通信链路重构+存储引擎极致优化存储引擎极致优化技术方案技术方案RDMA重构通信链路RDMARDMA软件栈软件栈1.高易用性协议统一接口统一本地组件支持2.高性能无锁全异步模式轮询模式、单边操作零拷贝、RawBytes传输3.高鲁棒性RC通信模式Fallback机制硬件兼容NIC(MLX/HW)Socket API UDP IP NIC Driver RDMA Verbs API ApplicationUserspaceKernelHardwareBRPC/GR

6、PCServer/Clientkernel bypassAuto TCP Failover RDMA RecoveryLoad BalanceRDMA Userspace Driver TCP 连接管理流量控制内存管理链路检测失败回退自动负载随机/轮询按权重失败重连超时重连监控上报OPT-RDMAOPT-RDMA数据校验Lossless/HPN Network设备管理RDMARDMA通信库整体方案通信库整体方案ThreadResourceThreadResource：一组资源描述，包括网卡、注册内存、发送队列、接收队列、完成队列、qp对，一个轮询线程+一组工作线程等请求流程请求流程 服务端准备