大模型云上训练工程突破：阿里云PAI在超大规模集群下的调度与容错实践.pdf

1、阿里云PAI打造云上大模型训练新基建云上稳定高效高性价比AI平台贾珂阿里云PAI训练产品负责人AI的发展趋势的发展趋势从感知AI,GenAI升级到Agentic AI，最终通往AGI的路径Perception AIPerception AIAgentic AIAgentic AIPhasePhase 1 1PhasePhase 2 2PhasePhase 3 3 基于输入/输出的框架 被动的感知外部信息 单一的目标和任务 自主行动的能力 判断和决策的能力 目标驱动的任务执行 感知和适应环境的能力 内容生成是固化的过程 依赖事先训练好的模型 不能适应复杂多变的情景Generative AIGen

2、erative AIAGIAGI。202520242021。2015PAIPAI 发展里程碑发展里程碑2016201720182019202020212022202320242025全球AI市场里程碑Google Transformer PyTorch开源AWS发布SageMakerSageMakerAWS推出 A2I、KendraOpenAI 发布 GPT-3GPT-3Google发布Vertex AIVertex AI微软发布Azure MLAzure MLOpenAI发布GPT-1GPT-1AlphaGo战胜围棋冠军 PAIPAI 1.01.0 诞生阿里内部平台 PAIPAI 2.02.

3、0 完成商业化PAIPAI 3.03.0 云原生化，DSW、EAS、DLC、Eflops 发布PAIPAI 4.04.0 智算平台，飞天智算平台 正式发布PAI 灵骏 Serverless 平台发布，大模型训练基础设施PAIPAI 5.05.0 面向GenAI时代全面升级，一个平台2个服务，阿里云AI基础设施OpenAI 基于InstructGPT推出了ChatGPTChatGPTOpenAI 发布 GPT-4GPT-4Meta推出 LLaMA2LLaMA2OpenAI 发布SoraSora，多模态GPT-4oGPT-4oMeta 推出 LLaMA3 LLaMA3 Google 推出 Gemi

4、niGemini DeepSeekDeepSeek系列模型发布阿里云阿里云AI产品里程碑产品里程碑AGI:大模型参数激增驱动高性能算力发展大模型参数激增驱动高性能算力发展资源成本：分布式资源成本：分布式AIAI怎么跑怎么跑人力成本：人力成本：AIAI怎么写怎么写LLM云上云上 AI PaaS平台的平台的“iPhone时刻时刻”到来到来核心解决2个效率个效率的问题阿里云人工智能平台 PAI 产品架构PAI=1算力平台+2个核心引擎+n个 LLM 工具与应用解决方案MaaSAIAI Agent 自动驾驶 具身智能 科研智算 金融风控 智能推荐 智能设计 智慧城市 智能制造 智慧医疗 ModelSc

5、ope 魔搭社区开放模型与数据集生态ModelStudio 阿里云百炼企业级模型服务与应用平台第三方 MaaSOpenAI Anthropic Hugging Face 安全与治理权限管理RAM/RBAC 多租户隔离审计日志全链路操作审计云产品依赖VPC/RAM/OSS/KMSAI 资产管理数据集/模型/镜像/代码多个多个LLM工具：大模型开发与应用工具：大模型开发与应用扩展核心引擎的应用场景，加速新场景创新NextIDE下一代大模型开发 IDEPAI-DSW交互式建模PAI-Designer可视化建模AgenticAgent 工具与工作流编排PAI-LangStudioAgentic Bui

6、lder 编排PAI-ModelEval模型评测/AB 实验多模态/AIGC/Physical AI图像 视频 具身智能PAI-ArtLabAIGC 无代码设计工具Physical AI 数据合成 训练 评测Data+AI数据与模型能力打通PAI-iTAG(Tagent)标注/合成数据PAI-Feature Store数据治理/特征复用2两个核心引擎：训练两个核心引擎：训练+推理推理最优性能 最完善功能 最极致体验训练引擎 DLC覆盖 Pre-Training Post-Training Test-Time Training 完整流程paiMoE/paiTurboX/ChatLearn&veR