01-大模型技术演进及其对软件造价行业影响（北京智源人工智能研究院知识计算引擎创新中心主任孙会峰）.pdf

1、大模型技术演进及其对软件造价行业影响演讲人：孙会峰时间：2024年10月北京智源人工智能研究院北京上奇数字科技有限公司BSCEA第九届中国软件估算大会孙会峰，现任北京上奇数字科技有限公司创始人兼董事长，北京智源人工智能研究院知识计算引擎创新中心主任，曾任工业和信息化部运行局特聘专家，国家开发银行评标专家，工信部上市公司赛迪顾问（HK02176）总裁等。在数据分析、产业图谱、算法引擎等方面拥有20余年的从业经验，主持完成了“上奇产业通”、工信部“产业大数据服务平台”、深圳证券交易所“湾创100旗舰指数”、北京市“产业知识图谱系统”、深圳“大湾区国际科技情报系统”、北京“人工智能产业大脑”、朝阳“

2、数字人产业招引系统”等数字化平台，多次受邀在世界互联网大会（乌镇）、世界人工智能大会（上海）、世界智能网联汽车大会（北京）、世界计算大会（长沙）等做主题报告，作为优秀企业家受邀参加了国庆70周年现场观礼。微信二维码BSCEA第九届中国软件估算大会大模型技术演进01商业创新的探索02对软件造价影响03BSCEA第九届中国软件估算大会大模型技术演进BSCEA第九届中国软件估算大会 AI的第三次浪潮5n 技术瓶颈和商业化难题构筑AI行业起伏周期，商业化受阻成为“第三次浪潮”难点商业因素技术因素第三次浪潮195019601970198019902000201020202030专家系统适用范围狭窄；现代

3、PC机成本远低于专家系统AI企业商业化不顺，高估值泡沫逐渐破裂感知机被提出，多种主义和算法涌现人工智能无法解决任何实际问题达特茅斯会议，首次提出“人工智能”概念算力：+算法：+数据：+第二次浪潮第一次浪潮算力：+算法：+数据：+算力：+算法：+数据：+DNN（Hinton，2006）当前AI的可能拐点-大模型大模型工业应用探索初见成效“专家系统”出现、BP算法被提出，符号主义和连接主义共同繁荣XCON、MYCIN等专家系统在实际应用中产生经济效益AlexNet大幅提升ImageNet准确率，开启第三次AI浪潮，2012ChatGPT引爆全球BSCEA第九届中国软件估算大会 国内外主要大模型发展

4、情况6模型类型模型名称闭源/开源研发机构模型参数所需算力资源训练资金（估算）训练数据量模型情况语言大模型GPT-3.5/ChatGPT闭源OpenAI1750亿2.5万*A100约千万美元当前性能最强语言大模型PaLM闭源谷歌5400亿6144*谷歌TPUv4*50天7800亿Token强于GPT-3，未经指令微调，对指令理解/思维链/扩展到新任务能力弱于GPT3.5OPT-175B开源Meta1750亿992*A100*60天1240万元1800亿TokenGPT-3的开源复现，效果接近但仍有差距智源悟道2.0（语言+视觉模型）开源智源研究院1.75万亿“神威.海洋之光”超算超算试运行，科研

5、合作，未收取训练费用2TB中文文本数据+2.5TB中文图像数+1.2TB英文文本数据当时全球最大的AI模型，认知能力有显著提升百度文心ERNIE3.0Titan闭源百度、鹏城实验室2600亿384*V100，华为昇腾910训练过程引入大规模知识图谱，语言理解能力较强源1.0闭源浪潮2450亿2128*v100*68天1500万元中文高质量语料多盘古开源鹏城实验室、北大、华为2000亿2048*华为昇腾910和GPT-3类似，中文能力弱于百度文心盘古闭源华为1000亿2048*华为昇腾91040TB小样本学习能力超越GPT-3PLUG开源阿里达摩院270亿V100中文语言理解能力较强美国已形成两

6、大阵营，微软+OpenAI暂时领先，谷歌+DeepMind+创业公司紧跟其后，竞争格局未定。我国语言大模型与OpenAI有1-2年的差距，视觉大模型和多模态大模型有望扭转被动跟随局面。BSCEA第九届中国软件估算大会 国内外主要大模型发展情况7模型类型模型名称闭源/开源研发机构模型参数所需算力资源训练资金（估算）训练数据量模型情况多模态大模型StableDiffusion开源StabilityAI10亿256*A100*6250片天约60万美元5B图文对商用级别的开源高性能文生图模型，但不支持中文，可控性弱M6闭源阿里达摩院10万亿512*V100*10天54万元最大的中文多模态大模型紫东.太