DeepSeek引发的“算力需求是否会下降”的争论,掩盖了一个更深层的结构性变化——Scaling Law的约束条件正在从算力转向数据。爱建证券发布的《适合投资人的DeepSeek分析报告》引用了EPOCH AI 2024年6月的研究结论:人类生成的公共文本数据总有效库存量约300T token,按当前大模型进化速度,2027-2028年将耗尽所有公开文本数据。GPT-4参数规模已达1.8T,每一代升级后参数至少上升一个数量级。算力不再是唯一的瓶颈,数据正在成为制约模型性能升级的核心约束。本报告从数据存量、消耗速度和未来方向三方面,深度解析Scaling Law面临的数据瓶颈及其产业含义。
300T token的“天花板”——人类公共文本数据的极限
EPOCH AI的研究系统估算了人类生成的所有高质量公开文本数据。结果显示,总有效库存量约300T token(90%置信区间在100T至1000T之间)。这意味着全球所有可公开获取的书籍、论文、网页、维基百科、代码仓库等高质量文本数据,总量不过如此。大语言模型的训练需要海量文本数据来学习语言模式、知识和推理能力——GPT-3使用了约0.3T token训练,Llama 3使用了约15T token,而DeepSeek-V3使用了14.8T token。模型参数规模和训练数据规模的增长速度远远超过人类生成新数据的速度。按照当前的消耗速率,公开文本数据的“矿藏”将在未来3-4年内被耗尽。
算力军备竞赛的不可持续性
从2022年Q4到2024年,美国五大云服务商的AI投资占比从20%-40%提升至50%-85%,微软、亚马逊、谷歌、Meta 2024年资本支出合计超2400亿美元,且2025年预计继续增长。这种“恐慌性投资”建立在一个核心假设上——算力越多,模型越强,且这一关系近似线性或指数级。但Scaling Law有三个维度:算力、数据、模型规模。算力可以靠资本堆砌,模型规模可以靠参数扩张,但数据的供给无法通过资本支出加速。人类生成高质量文本的速度是缓慢而线性的,而大模型的消耗是指数级的。2028年后,即使拥有无限算力,如果没有新的高质量数据投喂,模型性能的提升将显著放缓。算力军备竞赛的边际效益正在递减。
OpenAI参数规模逼近数据上限
OpenAI的模型演进轨迹清晰地展示了这一趋势。GPT-1参数规模约0.1B,GPT-2约1.5B,GPT-3约175B,GPT-4预估约1.8T,每一代升级后参数至少上升一个数量级。如果按照这一速度继续演进,GPT-5的参数规模将超过10T,训练所需数据量将超出人类生成的公开文本总库存(300T token)的数倍。但EPOCH AI的测算显示,高质量文本数据的可用量远小于300T——去除重复、低质量和版权受限内容后,有效训练数据可能只有30-100T。这意味着AI模型在现有框架下的进化空间正在快速收窄。OpenAI、Google等头部企业已经意识到这一问题,开始转向合成数据、私有数据和多模态数据的开发。
数据瓶颈之后——专业数据与实时数据成为新战场
公开文本数据的耗尽可能并非AI发展的终点,而是竞争焦点的转移。医疗、金融、法律、科学等垂直领域拥有大量未公开的高质量专业数据,这些数据不会自然进入公共数据集,也不会被搜索引擎索引。截至报告发布,已有浙江省卫健委与蚂蚁集团联合推出的“安诊儿”、智云健康、医渡科技、鹰瞳Airdoc等多家医疗企业宣布接入DeepSeek,政务领域深圳市已基于政务云部署DeepSeek-R1模型。专业领域的数据壁垒将成为下一阶段AI公司差异化竞争的关键。此外,实时动态数据的采集和处理能力(如物联网、传感器数据)也将成为模型能力升级的新方向。算力不再是唯一的护城河,“数据+场景+模型”的综合能力将决定AI企业的长期竞争力。
公共文本数据存量与消耗预测
公共文本数据存量与消耗预测
| 指标 | 数值 | 说明 |
|---|---|---|
| 公共文本数据总库存 | 约300T token | 90%置信区间100T-1000T |
| GPT-3训练数据 | 约0.3T token | 2020年 |
| Llama 3训练数据 | 约15T token | 2024年 |
| DeepSeek-V3训练数据 | 14.8T token | 2025年 |
| 数据耗尽时间 | 2027-2028年 | EPOCH AI预测 |
点击阅读报告原文:
最新报告
中英对照
全文搜索
报告精选
PDF上传翻译
多格式文档互转
入驻&报告售卖
会员权益
机构报告
券商研报
财报库
专题合集
英文报告
数据图表
会议报告
其他资源
新质生产力
DeepSeek
低空经济
大模型
AI Agent
AI Infra
具身智能
自动驾驶
宠物
银发经济
人形机器人
企业出海
算力
微短剧
薪酬
白皮书
创新药
行业分析
个股研究
年报财报
IPO招股书
会议纪要
宏观策略
政策法规
其他
人工智能
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医疗健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
行业聚焦
芯片产业
热点概念
全球咨询智库
人工智能
500强
新质生产力
会议峰会
新能源汽车
企业年报
互联网
公司研究
行业综观
消费教育
科技通信
医药健康
人力资源
投资金融
汽车产业
物流地产
电子商务
传统产业
传媒营销
其它
十五五规划系列报告合集(共50套打包)
2026年宠物经济/它经济报告合集(共46套打包)
AI、科技与通信
广告、传媒与营销
消费、零售与支付
HR、文化与旅游
金融、保险与投资
能源、环境与工业
医疗制药与大健康
物流、地产与建筑
其他行业
AI ▪ 科技 ▪ 通信
数字化
金融财经
智能制造
电商传媒
地产建筑
医疗医学
能源化工
其他行业

收藏
下载
2026-07-20

AI查数
行业数据
政策法规
商业模式
产业链
竞争格局
市场规模
产业概述
自研数据
其它
2026年
AI读财报
年报
一季报
半年报
三季报
IPO招股书
社会责任报告
A股
IPO申报
港股
美股&全球
新三板
2026-07-30
电子行业
21页
1张图表
0731-84720580
商务合作:really158d
友链申请 (QQ):1737380874
微信扫码登录
手机快捷登录
账号登录