《6GANA：2024年6G网络面向大模型的分布式学习白皮书（24页）.pdf》由会员分享，可在线阅读，更多相关《6GANA：2024年6G网络面向大模型的分布式学习白皮书（24页）.pdf（24页珍藏版）》请在三个皮匠报告上搜索。

1、文档名称文档密级2024-11-19第 1页,共 24页6G6G网络面向大模型的分布式学习白皮书网络面向大模型的分布式学习白皮书FoundationFoundation Model-OrientedModel-Oriented6 6G G NetworkNetwork DistributedDistributed LearningLearning WhitepaperWhitepaper文档名称文档密级2024-11-19第 2页,共 24页目录目录摘要.31 关于 6G 智能普惠的断言.41.1 AGI 服务将在 6G 时代普及.41.2 大模型提供智能服务的成本接近于零.41.3 每个人都

2、将拥有自己的大模型.51.4 网络传输内容将从数据转向模型.52 面向大模型的 MFD 分布式学习模式.72.1 联邦学习模式的挑战.72.2 MFD 分布式学习模式.82.3 模型在网络内像 IP 包一样传输.112.4 模型可以自由缩放.132.5 支持异构模型间的知识分享.152.6 特轻量化自组织的学习流程.173 MFD 应用示例.193.1 Net4LM 的智能协作机器人.193.2 LM4Net 站间协同.214 总结和展望.225 参考文献.23文档名称文档密级2024-11-19第 3页,共 24页摘要摘要6G愿景是实现智能普惠，支持将AI服务随时、随地的提供给每个人，这将驱

3、动6G网络成为一个分布式AI计算平台。而到6G时代，端边云都将部署不同尺寸的大模型，大模型无处不在，端边云节点之间交互的主要内容将从数据转为模型，由此，本文提出一种新的面向大模型的、去中心化的、原生支持无线网络边缘异构动态环境的MFD（Model Follow Data）分布式学习模式，旨在让模型在靠近数据的地方进行训练和推理，避免大量数据传输带来的传输能耗和隐私问题，同时可以充分利用6G网络的分布式AI算力。针对联邦学习存在依赖可信中心节点、通信开销大和异构支持性差等问题，MFD将神经网络模型构建为通信数据包，使得模型在网络中能够像数据包一样传输，并且可以自由缩放，实现异构模型间高效的知识分

4、享和轻量化自组织的学习流程。可以预测，MFD将成为6G网络的原生分布式学习模式，支撑AGI服务的普及。文档名称文档密级2024-11-19第 4页,共 24页1 关于关于 6 6G G 智能普惠的断言智能普惠的断言1.1AGI 服务将在 6G 时代普及大模型（Foundation model）技术的快速崛起并已取得了非凡的成功。而大模型技术还将会持续快速演进，以GPT为例，从2020年的GPT3到2023年的GPT4，再到未来的GPT8乃至更高版本，大模型的尺寸不断增加，并且可以达到令人印象深刻的智力水平；而StarGate项目旨在推动人工智能研究和开发的界限，并提出到2028年实现人工通用智

5、能（AGI）的目标。基于这样的趋势，我们预测基于AGI的智能服务将在6G时代普及。图 1 通用人工智能（AGI）发展进程1.2大模型提供智能服务的成本接近于零规模理论（Scaling Law）是大模型背后的核心逻辑，从目前看也是通往AGI最为可行的路径。而从经济价值上看，大模型可以通过模型缩放来生成或产生几乎免费的满足用户需求的各类智能服务，而无需手工制作。以OpenAI提供的GPT系列服务为例，其收费持续下降，近期推出的GPT3.5 Turbo替代产品GPT-4o mini，收费大幅下降到百万token输入/输出15美分/60美分，比GPT3.5 Turbo便宜超过60%以上，而对比GPT-

6、4o文档名称文档密级2024-11-19第 5页,共 24页的收费更是便宜了近97%，甚至一些公司已开始推出了免费的大模型服务。而随着大模型参数共享、权重剪枝、压缩与蒸馏、硬件加速、分布式训练/推理等相关技术的发展和突破，基础大模型在推理速度和效率将不断提升，并且随着大模型的普及和规模效应，也使得单次服务的边际成本下降，到6G时代，大模型的智能服务成本将接近于零。1.3每个人都将拥有自己的大模型目前大模型通常部署在云端，用户通过互联网访问各种智能服务。这种完全在数据中心集中部署的方式往往意味着巨量的算力，及随之带来惊人的能耗，如Stargate项目预期需要百万级AI芯片，数十亿瓦的功率来运行。