浪潮信息：大模型智算软件栈OGAl-v1.0（2023）（17页）.pdf

1、 V1.0 2023 年 8 月大模型智算软件栈OGAI4.1 整体架构4.2 智算中心OS4.3 PODsys.ai4.4 AIStation4.5 YLink4.6 MModel01大模型：AI技术新范式02大模型研发与应用的需求和挑战03浪潮信息的大模型探索与实践04OGAI:大模型智算软件栈02050308091012141606CONTENT目录大模型：AI技术新范式另一方面，大模型的开源开放进一步激发了学界和社区的热情。Meta在2023年3月开源的LLaMA（羊驼）大模型在短短的几个月时间内就演化出了蓬勃发展的一个大模型社区，基于LLaMA进行衍生开发的大模型包括Alpaca、B

2、ELLE、Vicuna、Koala、Orca等。此外，Falcon、MPT等众多模型的开源进一步丰富了社区生态，促进了业界对AIGC的应用落地探索。当前，基于大模型技术的创新应用已经开始广泛地进入到日常生活和办公之中，这些系统包括大型语言模型聊天机器人，如ChatGPT和Bard，也包括办公助手MS office copilot，也包括笔记AI助手notion AI和编程助手GITHUB copilot等。大模型技术是当前AIGC技术发展的核心驱动力。从2020年GPT-3发布以来，OpenAI等国内外的科技企业和研究机构通过零样本学习（Zero-Shot Learning）、提示词工程（Pr

3、ompt Engineering）、指令微调（SFT）、人类反馈强化学习（RLHF）等诸多技术创新，找到了有效使用大模型的技术范式。2022年底发布的ChatGPT成功引爆了公众对于生成式人工智能的热情。2023年以来，国内外针对生成式AI的投资激增，微软、谷歌等众多科技公司都在开发生成式AI模型。截止到2023年7月，国内发布的生成式AI模型已经超过了100个。02OGAI:大模型智算软件栈Large Model Intelligent Computing Software Stack大模型研发与应用的需求和挑战算力平台的构建不仅仅是服务器、存储、网络等硬件设备的集成，也有诸多设备软硬件兼容

4、性和性能调教上的know-how。需要考虑不同硬件和软件之间的兼容性和版本选择，确保驱动和工具的适配性和稳定性。比如在InfiniBand、RoCE 网络的配置和驱动安装上会遇到一些复杂的网络设置和驱动安装问题。由于涉及到用户管理，GPU 运行基础环境，并行文件系统等多个组件的安装和配置，往往需要依赖丰富的经验，整个部署过程会比较复杂。在实际的生产环境中，安装和配置集群需要兼顾性能和稳定性的考虑，为了确保系统的高性能和稳定运行，需要验证在不同的硬件环境下的软件适配，优化包括BIOS，操作系统，底层驱动，文件系统和网络等多个指标，找到最优的选择这个过程耗时耗力，容易贻误算力的上线时间。大模型训练

5、过程比传统的分布式训练复杂，训练周期长达数月。集群计算效力低、故障频发且处理复杂，会导致训练中断后不能及时恢复，从而会降低大模型训练的成功概率，也会使得大模型训练成本居高不下。因此，大模型对训练的稳定性、故障检测与训练容错提出了更高的要求。同时简化大模型分布式任务提交、实现智能与自动化的任务资源匹配和训练健壮性也是提升训练效率的重要保证。在大模型的算法开发层面，从PB级数据的爬取、清洗、过滤和质检，到大规模预训练的算法设计、性能优化和失效管理；从指令微调数据集的设计到人类反馈强化学习训练的优化，冗长的开发链条意味着诸多的工程化工具的支撑。因此，如何加速模型生产、促进生成式AI落地应用，也当前业

6、界关注的重点。大模型的应用落地面临诸多挑战，而其核心是不断提高模型本身的认知、泛化、逻辑思维等各方面的基础能力，从而提高AIGC应用的智能化水平。大模型能力的提升和其训练投入的算力当量（PD，PetaFlop/s-day）正相关。根据公开资料分析，GPT-4、PaLM-2等基础模型的算力当量已经达到了GPT-3的数十倍，相当于上万颗业界性能领先的NVIDIA Hopper架构的GPU芯片组成的AI集群训练超过1个月的时间。对规模庞大的算力基础设施的需求成为了大模型研发的最大挑战。03OGAI:大模型智算软件栈Large Model Intelligent Computing Software