王昕-GCOS全球云原生及开源峰会PPT模板_16比9-publish.pdf

1、王昕 高级技术战略专家 GCOS 2023 全球云原生及开源峰会王昕有20年从事软件系统设计、开发和产品管理的经验，10年云计算相关技术产品的研发经验。他曾就职IBM、VMware和阿里云等主要云计算相关企业，目前在微软中国从事技术战略和技术生态孵化工作，推广基于OpenAI等大语言模型技术的新应用架构。王昕王昕高级技术战略专家高级技术战略专家个人简介个人简介替换您的个人照片替换您的个人照片 GCOS 2023 全球云原生及开源峰会1324基 础 技 术迭 代 更 新企 业 应 用要 点 总 结03040102介绍LLM历史和OpenAI基础技术 GCOS 2023 全球云原生及开源峰会GPT

2、GPT模型经历多类技术路线演化，逐步成熟与完善模型经历多类技术路线演化，逐步成熟与完善 基于模板基于模板和规则的和规则的前深度学前深度学习阶段习阶段 ChatGPTChatGPT所能实现的人类意图，来自于机器学习、神经网络以及所能实现的人类意图，来自于机器学习、神经网络以及TransformerTransformer模型的多种技术模型积累模型的多种技术模型积累 1950年开始MachineMachineLearningLearning1980年开始1990年开始至2012年获得突破2017年模仿人脑模仿人脑进行大量进行大量数据的标数据的标记和训练记和训练 CNNCNNRNNRNNGANGANT

3、ransformerTransformer重点关注人脑重点关注人脑学习过程学习过程2018年2019年2020年2021-2022年GPT-1GPT-2GPT-3Instruct-GPT针对人类反馈信息学习的针对人类反馈信息学习的大规模预训练语言模型大规模预训练语言模型 （RLHFRLHF）T5BARTM2m-100BigbirdBERTRoBERTaXLMALBRERTELECTRA全网语料库全网语料库更高的计算能力更高的计算能力更高的适更高的适应性应性更通用的预训练更通用的预训练小模型小模型基于两大语料库基于两大语料库更适合文本理解更适合文本理解监督学习监督学习微软微软Azure Open

4、AIAzure OpenAI使用基于使用基于text-davinci-text-davinci-002002指令微调的指令微调的GPT3GPT3模型模型新版新版Enterprise ChatGPTEnterprise ChatGPT将于将于3 3月上市月上市GPT-3.5（ChatGPT）GCOS 2023 全球云原生及开源峰会生成式模型生成式模型GPT-4/3CodexDALLE 2/3ChatGPT陆地上跑得最快的动物是什么？猎豹，其速度可达每小时60英里（97公里）。是什么让它们这么快？猎豹是为速度而生的，有几种适应能力，使它们成为速度最快的陆地动物：苗条的身体、长腿、灵活的脊椎、大鼻孔

5、和不会缩回的爪子。提示：为一家冰淇淋店写一个标语。回应:我们的每一勺都能带来微笑!提示：Table customers,columns=CustomerId,FirstName,LastName,Company,Address,City,State,Country,PostalCode为德克萨斯州的所有名为 Jane 的客户创建一个 SQL 查询=回应:SELECT*FROM customersWHERE State=TX ANDFirstName=Jane提示：一只白色的暹罗猫 回应:GCOS 2023 全球云原生及开源峰会应用大模型的三项核心技术应用大模型的三项核心技术提示Promptin

6、g嵌入Embedding微调/训练/定制Fine-Tuning针对LLM模型的CompletionAPI通过好的提问引导答案通过举例促成上下文学习模型：gpt-35-turbo,GPT-4针对Embedding模型的Embedding API知识向量是文本的索引相当于知识的笔记本模型：text-embedding-ada-002将知识、格式、习惯、风格训练进入模型针对可以微调的模型的Fine-Tuning API提示是LLM时代的代码模型：gpt-35-turbo-instruct GCOS 2023 全球云原生及开源峰会挑战及应对：幻觉、知识局限挑战及应对：幻觉、知识局限什么是幻觉？事实不正