熬玉龙_统一算力释放智能：FlagScale在FlagOS生态中的演进.pdf

1、统一算力，释放智能：FlagScale在FlagOS生态中的演进北京智源人工智能研究院敖玉龙目 录CONTENTS1.FlagScale大模型训推框架介绍2.通过自动化技术实现跨芯片迁移3.通过FlagCX统一通信库实现跨芯片协同4.FlagOS统一生态应用示例FlagOS：面向多种AI芯片的统一、开源的系统软件栈各种AI芯片各种的智算集群各种大模型各种深度学习框架统一自主软件栈：统一支持深度学习框架（PyTorch,PaddlePaddle,etc）AI大模型(语言大模型，多模态大模型，MoE架构等)语言模型DeepSeek，Qwen，Seed-oss，GPT-oss，Step,Grok，L

2、lama等多模态模型智源EMU，面壁CPM，Qwen-VL系列，ERNIE4.5,Llava系列具身智能模型智源RoboBrainPai-0已支持大模型众智FlagOS：面向多种AI芯片的系统软件栈芯片 A芯片 B芯片 C底层通信库 A后端编译器 A底层通信库 B后端编译器 B底层通信库 C后端编译器 C已支持的硬件架构:Nvidia,NPU,GPGPU,DSA,RISC-V AI,ARM 芯片企业：超过10家芯片企业，20多款不同芯片数据中心(train&Inference)边缘(inference)机器人(cloud-edge cooperation)开源工具FlagGEMs:通用大模型算

3、子库FlagScale:训练推理并行框架FlagTree:统一编译器FlagCX:统一通信库开源核心库FlagRelease自动迁移和发版工具FlagPerf多芯片评测工具Triton-Copilot算子自动生成工具AI加速框架面临的三大关键碎片化挑战挑战一:LLM 全生命周期的端到端支持碎片化oDeepSpeed 和 Megatron-LM 等框架主要聚焦训练，虽已支持推理，但缺乏全生命周期集成。oNeMo-Megatron 尝试提供从预训练到部署的全周期支持，但与 NVIDIA 生态深度绑定，限制了通用性。挑战三:AI 硬件碎片化与缺乏标准化oGPU、NPU 和定制加速器等 AI 硬件种类

4、日益增多，用户需在性能、兼容性和成本间权衡。o每个硬件平台通常需要专属工具链和优化策略，跨平台开发部署需大量工程投入。挑战二:框架能力重叠且专业化导致的碎片化ovLLM 和 SGLang 等框架在不同场景中各有优势，选择难度大。ollama.cpp 等更多选项进一步分化生态，增加了框架选择和集成的复杂度。FlagScale：支持“多芯片+多后端”的元框架 通过自动化技术实现跨芯片的自适应计算统一启动器自动调优自动容错FlagGems自动预估训练FlagScale-TrainMegatron-LM/压缩FlagScale-Compressllm-compressor/推理FlagScale-In

5、ferencevllm/SGLang/llama.cpp服务FlagScale-ServeRay-Serve/统一检查点统一命令行FlagCX算子库通信库FlashAttn/TransformerEngine/xformers/NCCL/GLOO/通过多种可扩展的执行引擎后端支持大模型的全生命周期 通过统一底层库实现不同芯片间计算与通信兼容目 录CONTENTS1.FlagScale大模型训推框架介绍2.通过自动化技术实现跨芯片迁移3.通过FlagCX统一通信库实现跨芯片协同4.FlagOS统一生态应用示例跨芯片自动调优框架不同模型(不同大小)不同规模集群不同芯片QwenDeepSeek1K

6、设备10K 设备芯片A芯片B芯片CLlamaM x N x K搜索剪枝生成记录预估执行集群信息模型信息在线反馈搜索空间:并行策略 优化策略 多维剪枝:联合优化剪枝 基于历史剪枝 实际执行代价模型最优策略可执行配置性能结果456321与厂商合作更大的搜索空间和更完善的内存建模TypesItemsParallelismDP,TP,SP,VPP,CP,PP,EP,ETP,Uneven-PPOptimizationDistributed-Optimizer,Re-computation,Gradient AccumulationModelsDense Model(Llama3,Qwen3,),Spar