Arks快速部署推理服务&SIMM高性能kv缓存-王子昂.pdf

1、思明&方舟公司介绍：算秩未来目录性能性能测试测试01.01.思明思明Investment promotion cooperation plan.Investment promotion cooperation plan.目录内容目录内容架构设计架构设计02.02.方舟方舟架构设计架构设计核心能力核心能力未来规划未来规划应用场景应用场景快如内存，大如云盘SolMM架构设计分布式缓存服务极致性能与扩展性架构设计无中心的元数据服务控制、数据面全RDMA高效的并发模型全 Userspace:kernel by pass，释放硬件红利，IO 时延逼近硬件性能Dual channel：避免大块数据传输阻塞

2、控制面消息Run-to-completion:无锁，CPU cache 友好Event-driven:全异步，无 context switch 开销去中心化的元数据服务，IO仅需一跳，根据hash直达data server性能测试显存容量小，大部分 KVCache 都要重算SiMM 在 ISL 64 时都有收益，长文(24K)TTFT 快 4 倍以上与无Offload对比CPU 本地内存容量有限，保存的KVCache 超过拐点后，缓存失效都要重算，TTFT 明显飙升SiMM 缓存在长文(24K)TTFT 快 2 倍以上与Local CPU对比RoadmapNVMEGDSTransferQueue超节点场景In next 6 months从分布式内存缓存扩展到显存+内存的分层结构多级缓存支持本地NVMe：冷热分层，本地 NVMe 扩展存储空间GDS tiering 到共享存储（GPFS）：利用共享存储扩展存储空间异步 RL 场景下，producer/consumer 模型传输数据多机超节点显存池简如应用，强如集群方舟架构设计资源与接入治理原生分布式编排架构设计模型管理架构设计推理编排架构设计接入治理核心能力应用场景平台工程师科研人员加入我们邮箱：谢谢观看T h a n k s