人工智能行业AI算力报告：穿越AI的基石算力基建的起始-230716（100页）.pdf

1、姓名：王聪（分析师）姓名：王彦龙（分析师）姓名：舒迪（分析师）姓名：谭佩雯（分析师）邮箱：邮箱：邮箱：邮箱：电话：021-38676820电话：010-83939775电话：021-38038385电话：0755-23976032证书编号：S0880517010002证书编号：S0880519100003证书编号：S0880521070002证书编号：S0880521040001姓名：文紫妍（分析师）姓名：黎明聪（研究助理）姓名：刘校（研究助理）邮箱：邮箱：邮箱：电话：021-38038321电话：0755-23976500电话：021-38038661证书编号：S0880523070001证

2、书编号：S0880121080014证书编号：S0880122070050201020304053/3/CONTENTS01020304054/45算力是智能世界的基础，基础设施从云向算泛在演进1.1智能世界三要素：数据、算力、算法是智能世界三要素，其中算力平台是核心基础。算力两大类：通用算力、HPC（高性能计算，High-performance computing）算力。其中通用算力计算量小，用于常规应用。HPC算力是一个计算机集群系统，通过各种互联技术将多个计算机系统连接在一起，利用所有被连接系统的综合计算能力来处理大型计算问题。算力基础设施从云向算泛在演进，其位置的分布从中心向边缘和端侧

3、泛在延伸，将出现云、边、端三级算力架构。数据来源：国泰君安证券研究图：构建数据、算力、智能之间的互联网络算力类型通用算力专用算力科学计算类：物理化学、气象环保、生命科学、天文探测等工程计算类：计算机辅助工程/制造、电子设计自动化、电磁仿真等智能计算类：机器学习、深度学习、数据分析等图：专用算力是算力中极为重要一环图：算力基础设施从云向算泛在演进6AI大模型带动算力需求超越摩尔定律增长1.1AI模型训练算力增长速度超越芯片摩尔定律。AI 训练任务中的算力增长（所需算力每 3.5个月翻一倍）已经超越摩尔定律（晶体管数量每 18 月翻一倍）。ChatGPT仅推出两个月，月活跃用户数预计已达1亿。Ch

4、atGPT在2023年1月达到1亿月活跃用户，平均每天有1,300多万访客，用2个月时间达到1亿月活数，成为史上最快达到1亿月活跃用户的应用，TikTok、Instagram、Facebook、Twitter则分别用了9个月、2年半、4年半、5年的时间。数据来源：Google Scholar，国泰君安证券研究图：大模型时代算力需求增长超越摩尔定律图：chatgpt仅用2个月月活用户突破1亿数据来源：Sensor Tower，国泰君安证券研究2个月9个月两年半三年半四年半五年六年半ChatGPTTikTokInstagramWhatsAppMetaTwitteriTunes7AI大模型核心在数据

5、、算力与模型，需消耗大量算力1.1数据来源：Open AI，国泰君安证券研究表：不同 NLP 模型参数量及训练算力对比模型总计算量（PFlop/s-day）总计算量（Flops）参数量（百万个）令牌数量（十亿）T5模型T5-Small2.08E+001.80E+20601000T5-Base7.64E+006.60E+202201000T5-Large2.67E+012.31E+217701000T5-3B1.04E+029.00E+2130001000T5-11B3.82E+023.30E+22110001000BERT 模型BERT-Base1.89E+001.64E+20109250BE

6、RT-Large6.16E+005.33E+20355250ROBERTa-Base1.74E+001.50E+211252000ROBERTa-Large4.93E+014.26E+213552000GPT 模型GPT-3 Small2.60E+002.25E+20125300GPT-3 Medium7.42E+006.41E+20356300GPT-3 Large1.58E+011.37E+21760300GPT-3 XL2.75E+012.38E+211320300GPT-3 2.7B5.52E+014.77E+212650300GPT-3 6.7B1.39E+021.20E+22666