科大讯飞-李珍松-星火认知大模型一年四次大发布背后的平台及应用工程实践.pdf

1、讯飞讯飞星火星火4 4次次发发布背后的平台及布背后的平台及应应用工程用工程实践实践李珍松 科大讯飞 AI平台架构师“”讲师简介 科大讯飞AI工程院研发主管、高级AI平台架构师，2014年入职讯飞，长期从事AI平台及方案建设，深度参与讯飞语音云平台演进及AI开发平台从0到1建设落地，目前主要负责AI云平台相关架构演进及技术产品转化工作。李珍松关关于于讯讯飞飞AIAI工程工程团队团队成建制的人工智能资源/研究/引擎/平台团队护航“应用立地”从算法工程到平台工程、应用方案落地，拉通AI研发至AI落地的双循环数据数据 教育教育应应 用用智能智能语语音音国国家新一代人工智能家新一代人工智能开开放放创创新

2、平台新平台A.I.A.I.研究院研究院外部技外部技术术引入与整合引入与整合语语音合音合成成语语音音识识别别语语音翻音翻译译图图像像视频视频语语音交互音交互行行业认业认知知500w500w+中国科大清华大学哈工大中科院体系萨里大学约克大学语语音及音及语语言信息言信息处处理理国国家工程研究中心家工程研究中心认认知智能知智能国国家重家重点实验点实验室室办办公公A.I.A.I.资资源部源部 医疗医疗玩玩具具汽汽车车家家庭庭营营销销城城市市司司法法开发团队开发团队A.I.A.I.工程院工程院ToGToGToBToBToCToC20202020年年TOP100TOP100分享分享AI ServingAI

3、Serving引擎托管平台回引擎托管平台回顾顾模型及能力数增长5倍的同时，迭代维护人力增长不超过20%高高内内聚托管平台聚托管平台经过时间经过时间及及规规模的模的验证验证，可形成持，可形成持续续性收益性收益模型服务化开发效率由2月降低至2天传统架构2月托管平台架构2天AI开发效率5xxx2020202320202023模型/能力数迭代维护人力相关框架完成开源，欢迎参与共建：https:/ 5月月6 6日首次日首次发发布布七大核心能力七大核心能力发发布布大模型大模型评测评测体系体系发发布布1+N大模型框架的0到1内容安全红线8 8月月1515日日突破代突破代码码能力能力多模多模态态交互再升交互再

4、升级级10241024 通用模型通用模型对标对标ChatGPTChatGPT（中文超越，英文相（中文超越，英文相当当）多模态融合架构0到1性能容量应对开放开放深度开发微调、插件、知识库6 6月月9 9日日突破突破开开放式放式问问答答多多轮对话轮对话能力再升能力再升级级数学数学能力再升能力再升级级知识插件工程0到1讯飞讯飞星火星火4 4次大版本次大版本发发布布中核心技中核心技术术与平台工程与平台工程的的挑挑战战以通用大模型以通用大模型结结合合行行业业垂垂类类大模型的大模型的1+N1+N策略，策略，支支撑撑应应用高用高质质量落地量落地教育办公1 1个个通用通用认认知智能大模型知智能大模型汽车交互侧

5、重通用任务侧重专业领域任务针对通用大模型SFT进行指定行业领域的效果增强，加速产业落地企业服务22.1%教育培训13.7%工业制造3.4%智能硬件5.2%智慧文旅1.6%智能客服8.9%新闻出版4.1%医疗健康6.5%智慧金融5.4%智慧政务1.9%能源行业2.0%数字人5.1%汽车行业2.1%开发者行业发布情况大模型大模型应应用案例及效果展示用案例及效果展示数学内容创作交互问答附附录录：认认知大模型技知大模型技术术原理原理-海量文本的高海量文本的高质质量清洗及超大量清洗及超大规规模模语语言模型言模型训练训练训练数训练数据据模型模型参数参数预估需求算力GPT3-300PGPT3-300P训练训

6、练1 1个个月月根据根据 SemaforSemafor 报报道，道，GPT-4 GPT-4 比比 GPT-3 GPT-3 大六倍左大六倍左右，具有右，具有 1 1 万万亿亿个参数个参数根据根据DeepMindDeepMind研究估算的研究估算的GPT-4GPT-4训练数训练数据据TokensTokens数数据量据量级级在在5000B5000BChatGPTChatGPTGPT-4GPT-410B10B300B300B30005000B30005000BTokensTokens常常规规NLPNLP任任务务ChatGPTChatGPTGPT-4GPT-410=有用性准确性无害性根据人根据人类类的反