大语言模型对汽车行业的影响和实践探索_分享版.pdf

1、DataFunSummitDataFunSummit#20232023大语言模型对汽车行业的大语言模型对汽车行业的影响和实践探索影响和实践探索林琳某汽车集团数据挖掘&人工智能主任专家个人介绍2011年毕业于复旦大学基础数学专业现在某汽车集团担任数据挖掘&人工智能主任专家12年+汽车行业数据分析经验专注于运筹优化、机器学习、大语言模型相关技术的应用落地。大语言模型（大语言模型（LLMLLM）简介）简介LLMLLM对汽车行业的影响对汽车行业的影响LLMLLM的的实践探索实践探索数据分析人员能力要求数据分析人员能力要求目录目录 CONTENTCONTENTDataFunSummitDataFunSu

2、mmit#202320230101大语言模型简介大语言模型简介2012年后人工智能技术发展情况2012AlexNet获得2012年ImageNet图像分类大赛的冠军AlphaGo基于游戏反馈的强化学习Transformer基于注意力机制的自监督学习GPT1/Bert大模型+微调GPT2/GPT3/InstructGPTChatGPTGPT4有监督学习自监督学习+通用大模型+微调自监督学习+通用大模型+提示词20172022T TransformerransformerP Pre-trainedre-trained主要痛点：(自然语言处理场景举例：翻译)长期记忆遗忘长期记忆遗忘：句子很长之后就会

3、出现梯度消失梯度消失的问题无法并行无法并行:这种固有的顺序计算性质导致无法并行化，这在序列长度较长时并行化变得至关重要标注数标注数据获取成本高据获取成本高https:/ Short-Term Memory循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环神经网已经被确立为序列建模和转化问题中的最先进方法。主流的序列转换模型通常基于复杂的循环神经网络或卷积神经网络，包括编码器和解码器。最好的模型通过注意力机制连接编码器和解码器大语言模型之前 解决NLP问题的痛点Google 2017年提出了一种简单的网络结构Transformer，它仅基于注意力机制注意力机制，完全摒弃了循环和卷积。在

4、两个机器翻译任务上的实验证明，这些模型的质量更高，更可并行化可并行化，并且需要的训练时间显著减少。注意注意力函数力函数可以被描述为将查询向量和一组键值对映射到一个输出向量。输出向量是值向量的加权求和，每个值向量的权重是由查询向量和对应键向量之间的兼容性函数计算得出的。Attention Is All You Needhttps:/arxiv.org/abs/1706.03762v3https:/ 网络结构https:/ 网络结构：并行化、自监督学习2012AlexNet获得2012年ImageNet图像分类大赛的冠军AlphaGo基于游戏反馈的强化学习Transformer基于注意力机制的自监

5、督学习GPT1/Bert大模型+微调GPT2/GPT3/InstructGPTChatGPTGPT4有监督学习自监督学习+通用大模型+微调自监督学习+通用大模型+提示词20172022名词解释：名词解释：G Generativeenerative名词解释：名词解释：P Pre-trainedre-trained名词解释：名词解释：T Transformerransformer2012年后人工智能技术发展情况预训练模型预训练模型是一个通过大量数据上进行训练并被保存下来的网络。通俗理解：前人为了解决类似问题所创造出来的一个模型，有了前人的模型，当我们遇到新的问题时，便不再需要从零开始训练新模型，而

6、可以直接用这个模型入手，进行简单的学习便可解决该新问题。预训练模型Decoder only 预训练模型Encoder only 预训练模型https:/ 预训练模型BART(Bidirectional and Auto-Regressive Transformers)基于transformer 的 Pre-train 预训练模型Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyondhttps:/arxiv.org/pdf/2304.13712.pdfTRANSFORM