浙江大学：2025大模型：从单词接龙到行业落地报告（56页）.pdf

1、1大模型：从单词接龙到行业落地杨洋，浙江大学?教学用途声明：本PPT包含部分来源于网络的素材，仅供教学使用，非商业用途，版权归原作者所有2人工智能前夜：图灵测试o 图灵测试会在测试人在与被测试者(一个人和一台机器)隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。o 问过一些问题后，如果超过 30%的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。3人工智能前夜：图灵测试o 在提出图灵测试的计算机器与智能一文里，图灵描述了想象中未来的智能计算机测试可能的样子（人提出问题，计算机回答）：Q：请给我写一首有关福思桥（Forth Bridge）主

2、题的十四行诗。A：这种事情别找我。我从来都不会写诗。Q：34957+70764 等于多少？A：（停顿了约 30 秒后再给出答案）105621。Q：在国际象棋中，我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在你会怎么走？A：(15 秒停顿后)将车移动到R8，然后将死。文学文学数学数学逻辑逻辑4大模型与图灵测试文学数学逻辑5大语言模型：单词接龙杨老师周一晚讲 0.6旅 0.3吃 0.16大语言模型：单词接龙杨老师周一晚讲课 0.4大 0.4话 0.27大语言模型：单词接龙杨老师周一晚讲大话 0.1人 0.1模 0.88大语言模型：单词接龙杨老师周一晚讲大模型 0

3、.7态 0.2块 0.19大语言模型：单词接龙杨老师周一晚讲大模型，0.4EOS 0.5呀 0.110单词接龙：通过条件概率计算实现P(token_i|context )下一个单词下一个单词上下文（用户提问上下文（用户提问+已生成的句子）已生成的句子）o 给定上下文（Context），计算下一个生成词（Token）的概率o 根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符（End-of-Sequence,EOS）o 利用Transformer计算条件概率Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob U

4、szkoreit,Llion Jones,Aidan N.Gomez,ukasz Kaiser,and Lllia Polosukhin.“Attention is All You Need.”In NeurIPS,2017.11将各类下游任务转化为单词接龙输入：景点（如断桥残雪）输出：该景点所在城市断桥残雪在哪？模型杭州传统机器学习模型拆分成一连串的单词接龙断桥残雪在哪？LLM杭断桥残雪在哪？杭LLM州断桥残雪在哪？杭州LLMEOS12为什么单词接龙？针对特定任务的端到端学习断桥残雪在哪？模型北京杭州模型，训练数据：需要标注，成本高标注输入数据13预训练-微调：机器学习新范式预训练杭州是中国

5、浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。采样很多句子做单词接龙杭州是中国它位于中国杭州以LLM列入了世界浙江省东南沿海西湖著称文化遗产杭州是中国浙江省LLM江苏省浙江省14如何培育小火龙，成为宝可梦世界冠军？15如何培育小火龙，成为宝可梦世界冠军？端到端学习（应试教育）1、只会打架2、打不过没见过的宝可梦16如何培育小火龙，成为宝可梦世界冠军？预训练（素质教

6、育）1、多功能火恐龙2、灵活运用技能17预训练数据：网页、书籍、新闻、对话等多种类型的无标注数据杭州是中国浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。10月下旬，这则消息引发广泛关注。玛莎拉蒂母公司斯泰兰蒂斯集团15亿欧元入股浙江零跑科技股份有限公司，10月下旬，这则消息引发广泛关注。拥有自研智能动力、智能网联、智能驾驶三大核心技术，工厂预计年产可达70万辆在零