华为：迈向智能世界白皮书2023-计算（17页）.pdf

1、计算算力为基，共建智能新生态迈向智能世界白皮书2023目录1趋势三：AI生态加速收敛，为国内AI生态带来新的机遇和挑战0302趋势二：百模千态，AI加速覆盖千行百业趋势一：AI能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向AI持续演进04趋势五：ARM逐步成为行业数字化算力主流选择05安防-视觉互联网-推荐AI能力出现拐点，从预测推断走向内容生成 2015年CV类视觉识别超过人类，可部分替代人眼/耳，主要用于物体识别和发现，催生了千亿级智能安防产业。2022年底基于NLP的ChatGPT学会思考会学习，用于理解和生成，GPT-4已初步具备自主学习和思考能力，在文本/图像/音频/视

2、频/代码等脑力劳动场景中已达到人类80%的水平，可替代较高端脑力劳动工作。2随着NLP领域的突破，AI的内容生成成为新的增长热点AI重点事件里程碑AI技术里程碑AI产业发展浪潮1956年达特茅斯会议专家系统1997年“深蓝”战胜人类2015年视觉识别超过人类2022年ChatGPT内容生成、知识传递2C：社交、消费2B-通用：办公、编程、搜索、营销、设计2B-行业：医疗咨询、网络自治、智能风控、结构化感知、大数据分析、舆情分析、新闻采编、内容剪辑、智能教学.2023年GPT-4具备自主学习能力NLPCVAI4SGAN控制论深度学习ChatGPTGPT4GeminiAI能力落地越来越简单模型架构

3、趋于收敛AI能力出现拐点，从预测推断走向内容生成3模型架构向Transformer收敛，AI应用落地越来越简化 Transformer结构在图、文、音多个领域表现优异，大模型的基础架构向Transformer结构收敛，大量基于Transformer结构的大模型涌现。AI大模型技术快速发展，AI算法与应用的开发、上线部署与业务发放等过程均大幅简化，有大量开源可用的开源大模型，有丰富的大模型微调算法，主流框架均支持低代码的开发构建大模型的能力，业界主流厂商联合发布大模型的一体机。大模型创新全流程使能主流AI框架预训练大模型开发套件微调算法大模型一体机大模型基础架构向Transformer结构收敛T

4、ransformer架构结构扩展性好，统一多模态计算架构CNN、LSTM、GAN、RNN、DBN等多种架构小模型收敛大模型Yolo、ResNet、Bert、Openpsoe、CenterNet、RepVGG GPT、PalM、LLaMA、BLLOM丰富的开源可用大模型GPT|LLaMA|T5|BLOOM|Swin|ViT|GLM|RWKV 高效构建大模型Transformer网络结构大模型开发套件支持低代码构建大模型低参微调获得场景模型LoRA、Prefix-Tuning、LowRankAdaper、BitFit、AI应用行业落地AI能力出现拐点，从预测推断走向内容生成4模型的参数量仍在扩大，

5、大模型算力需求6个月翻一番 Scaling Law尚未见顶，万亿多模态大模型是新的热点，模型表现强烈依赖于模型规模，随着计算量、数据量和参数量提升而提升；相同参数下，更深的模型拥有更好的性能。多模态数据成为大模型训练主要数据，对于算力需求是文本数据的百倍，大模型算力需求6个月翻一番的趋势，预计至少持续到2030年。Scaling Law尚未见顶MOE万亿参数大模型是新的热点大模型算力需求6个月翻一番的趋势预计至少持续到2030年EPOCH预测:Projecting compute trends in Machine Learning模型模型结构参数量激活参数量ChatGPTDense-Deco

6、der 175B175BGPT-4MoE-Decoder1.8T112.5BGaLMMoE-Decoder1.2T96B盘古SigmaMoE-Decoder only（RRoE)1.08T38BSwitch-CMoE-Encoder decoder1.5T1.5B模型表现强烈依赖于模型规模相同参数下，更深的模型拥有更好的性能。10221028目录1趋势三：AI生态加速收敛，为国内AI生态带来新的机遇和挑战0302趋势二：百模千态，AI加速覆盖千行百业趋势一：AI能力出现拐点，从预测推断走向内容生成01趋势四：操作系统面向AI持续演进04趋势五：ARM逐步成为行业数字化算力主流选择05讯飞华为百