佐思汽研：2024汽车AI大模型TOP10分析报告（59页）.pdf

1、产业研究 战略规划 技术咨询2预训练语言模型预 训 练微 调将模型在大规模无标注数据上进行自监督训练得到预训练模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型预训练语模型“预训练+微调”技术范式规模标注本数据模型预训练不同特定任务有标注训练数据模型微调测试数据最终模型从海量数据中自动学习知识Big-data Driven，模型基于大规模语料训练而成；Multi-tasks Adaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；Few-shot(Zer

2、o-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。产业研究 战略规划 技术咨询3大模型发展历程众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP 任务的性能，并展示出广泛的通用性。AlexNet(图灵奖得主Hinton)CAN(Gioodfellow.图

3、灵奖得主Bengio)Word2Vec(Google.引用78550)Attention(图灵奖得主Bengio)ResNet(MSR.引用183222)Transformer(Google.引用91332)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ViT(Google)DALL E2(OpenAI)GPT-4V(OpenAI)ERNIE(百度)CPM(智源)GLM(洁华)20122013201420152016201720182019

4、2020202220222023跨模态模型预训练模型大模型计算机视觉自然语言处理认知感知来源：大模型驱动的群体智能行业白皮书产业研究 战略规划 技术咨询4大模型参数规模不断增长，推动 AIGC技术升级。AIGC技术发展的背后是大模型（Foundation Models）技术的持续迭代。从 2017 年 Transformer 结构的提出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。图1：2018-2023 年模型参数规模变化图 来源：中国人工智能系列白皮书图2：CPU与GPU算力演进比较 来源：techovedas，国元证券产业研究 战略规划 技术咨询5英伟达每2年推

5、出一个微架构，对产品线进行升级，6 月 2 日，英伟达在 Computex 2024大会上发布了至2027年的芯片路线图，GPU迭代周期由 2年缩短到1年，走类似英特尔的Tick-Tock 模式（一年工艺一年架构）。同时，英伟达践行“Buy More Save More”让算力成本指数级下降。图3：英伟达GPU架构演进图图4：训练芯片算力成本呈下降趋势 我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主；2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraf

6、lops算力，以及性能密度超过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。来源：浙商证券研究所、华泰证券研究所产业研究 战略规划 技术咨询6中国科技企业的市场导向和商业化压力常使得大厂技术部门在追求KPI的同时，难以专注于前言技术的研发中国科技企业较少开展全球化经营，导致在营收、人才获取、全球化商业场景方面制约明显发展AI大模型相关的软硬件技术需要大量人才，大量的优秀本科生选择出国深造，而其中超过60%的毕业生选择在海外工作，导致长期的优秀人才流失。另外在中西方脱钩的背景下，美西方限制了对中国高科技人才的培养与学术合作