当前位置:首页 > 报告详情

电子行业AI+系列专题报告:边缘AI大语言模型的终端部署推动新一轮终端需求-230531(25页).pdf

上传人: 蒸*** 编号:127905 2023-06-01 25页 2.19MB

下载:

1、请务必阅读正文之后的免责声明及其项下所有内容证券研究报告证券研究报告|20232023年年0505月月3131日日超配超配电子电子 AI+AI+系列专题报告系列专题报告边缘边缘 AIAI:大语言模型的终端部署,推动新一轮终端需求:大语言模型的终端部署,推动新一轮终端需求核心观点核心观点行业研究行业研究行业专题行业专题电子电子超配超配维持评级维持评级证券分析师:胡剑证券分析师:胡剑证券分析师:胡慧证券分析师:胡慧021-60893306021-S0980521080001S0980521080002证券分析师:周靖翔证券分析师:周靖翔证券分析师:李梓澎证券分析师:李梓澎021-603754020

2、755-S0980522100001S0980522090001证券分析师:叶子证券分析师:叶子联系人:詹浏洋联系人:詹浏洋0755-81982153010-S0980522100003联系人:李书颖联系人:李书颖0755-市场走势资料来源:Wind、国信证券经济研究所整理相关研究报告电子行业周报-AI+开启半导体新周期 2023-05-29复盘英伟达的 AI 发展之路 2023-05-29电子行业周报-半导体周期拐点临近,国产化进程提速 2023-05-24电子行业周报-景气拐点将至,以时间换空间 2023-05-15电子行业周报-在行业周期筑底阶段无需过度悲观 2023-05-08大模型参

3、数量级飞涨,相应训练集需同比提升。大模型参数量级飞涨,相应训练集需同比提升。李开复定义AI 2.0 时代的特征是通过海量数据,无需标注自监督学习,训练一个基础大模型,并在各领域将其专业化。据相关论文,当模型的参数量大于某阈值,会展现出类似推理、无监督学习等未曾出现的能力,这种现象被称为“涌现”,因此目前大语言模型参数均在十亿量级以上。同时,Deepmind研究表明,模型参数的上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此,大模型参数在十亿级以上发展并受限于优质数据集的增速是AI 发展的必然趋势。大模型增长挑战芯片算力和内存大模型增长挑战芯片算力和内存,无法实现完整端侧部署无法实现完

4、整端侧部署。大模型训练和推理的三大瓶颈是算力、显存和通信,根据我们的测算,算力方面GPT-3 训练所需算力为121528 TFLOPS,若30天内完成,需要1558 颗A100。内存角度,GPT-3 训练至少需要3.2T内存,至少44张A100,推理任务则主要受显存限制,需要4 至8 张A100,因此完整的模型无法在终端上离线运行。优化后大模型可在旗舰机型芯片上运行,优化后大模型可在旗舰机型芯片上运行,AIAI 落地有望推动新一轮换机潮。落地有望推动新一轮换机潮。AI部署本地化具有必要性,优势包括更低的延迟、更小的带宽、提高数据安全、保护数据隐私、高可靠性等。完整的大模型仅参数权重就占满一张8

5、0G的GPU,但是通过量化、知识蒸馏、剪枝等优化,大模型可以在手机本地实现推理。高通团队使用骁龙8 Gen2 部署Stable Diffusion,实现本地运营15秒出图,证明了大模型本地化运行的可能,也体现出目前手机芯片的局限性。根据IDC数据,1Q23全球手机销量中主处理器频率超过2.8GHz的占比36%,价格在1000 美金以上的占比13%,即旗舰机型占比较低,随着AI大模型在边缘端落地,有望推动新一轮换机潮。以大语言模型为核心以大语言模型为核心,以语言为接口以语言为接口,控制多控制多AIAI模型系统模型系统,构建构建“贾维斯贾维斯”式智能管家式智能管家。我们认为大语言模型不仅可以实现对

6、话、创意,未来也有望作为众多复杂AI 模型的控制中心,同时也是接受用户指令的交互窗口,实现钢铁侠 电影中“贾维斯”式综合智能管家。23年5 月,Google 推出 PaLM2 轻量版Gecko,其可在最新的旗舰机型上离线运行。同月,OpenAI 首次推出ChatGPT 移动端应用,各家大厂正式进入AI模型移动端创新、竞争时期。智能音箱、全屋智能中控屏、手机、MR等均有望成为这一时代的交互入口。产业链相关公司产业链相关公司:半导体:晶晨股份、瑞芯微、全志科技、北京君正、兆易创新;消费电子:传音控股、歌尔股份、福立旺、闻泰科技、创维数字。风险提示:风险提示:AI技术发展不及预期;边缘端芯片发展不及

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要讨论了边缘AI的发展趋势,特别是大语言模型在终端设备上的部署。文章指出,随着大模型参数的指数级增长,参数量超过一定阈值后,模型将展现出新的能力,如推理和无监督学习。然而,大模型的训练和推理对硬件提出了巨大挑战,包括算力、显存和通信瓶颈。为了解决这些问题,文章提出通过量化、知识蒸馏和剪枝等方法对模型进行优化,以适应终端设备的运行。此外,文章还讨论了大语言模型在终端设备上的应用,如智能家居、智能手机等,以及大模型如何成为复杂AI系统的控制中心和交互入口。文章预测,随着AI技术的进步和终端设备的升级,大语言模型将在边缘计算中发挥更大的作用,并推动新一轮的终端需求增长。
百亿参数大模型如何实现终端部署? 边缘计算如何助力AI模型高效运行? 大语言模型如何成为智能家居控制中心?
客服
商务合作
小程序
服务号
折叠