三个皮匠报告
最新
报告分类 研搜
热门标签
BETA
政策库
自研报告
new
入驻
搜索
当前位置：首页 >英文主页 >中英对照 > 中译版报告详情

DeepSeek Math技术报告（中译版）（30页）.pdf

上传人： 淘*** 编号：650881 2025-04-07 30页 1.76MB

下载：

1、DeepSeekMath:Pushing the Limits of MathematicalReasoning in Open Language ModelsZhihong Shao1,2,Peiyi Wang1,3,Qihao Zhu1,3,Runxin Xu1,Junxiao Song1Xiao Bi1,Haowei Zhang1,Mingchuan Zhang1,Y.K.Li1,Y.Wu1,Daya Guo11DeepSeek-AI,2Tsinghua University,3Peking Universityzhihongshao,wangpeiyi,zhuqh,https:/ re

2、asoning poses a significant challenge for language models due to its complexand structured nature.In this paper,we introduce DeepSeekMath 7B,which continues pre-training DeepSeek-Coder-Base-v1.5 7B with 120B math-related tokens sourced from CommonCrawl,together with natural language and code data.De

3、epSeekMath 7B has achieved animpressive score of 51.7%on the competition-level MATH benchmark without relying onexternal toolkits and voting techniques,approaching the performance level of Gemini-Ultraand GPT-4.Self-consistency over 64 samples from DeepSeekMath 7B achieves 60.9%on MATH.The mathemati

4、cal reasoning capability of DeepSeekMath is attributed to two key factors:First,we harness the significant potential of publicly available web data through a meticulouslyengineered data selection pipeline.Second,we introduce Group Relative Policy Optimization(GRPO),a variant of Proximal Policy Optim

5、ization(PPO),that enhances mathematical reasoningabilities while concurrently optimizing the memory usage of PPO.Figure 1|Top1 accuracy of open-source models on the competition-level MATH benchmark(Hendrycks et al.,2021)without the use of external toolkits and voting techniques.Core contributors.Wor

6、k done during internship at DeepSeek-AI.arXiv:2402.03300v3 cs.CL 27 Apr 20241.IntroductionLarge language models(LLM)have revolutionized the approach to mathematical reasoningin artificial intelligence,spurring significant advancements in both the quantitative reasoningbenchmark(Hendrycks et al.,2021

word格式文档无特别注明外均可编辑修改，预览文件经过压缩，下载原文更清晰！
三个皮匠报告文库所有资源均是客户上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作商用。
本文介绍了DeepSeekMath，一种在数学推理方面显著超越开源模型的领域特定语言模型，其性能接近GPT-4。主要内容包括： 1. 构建了DeepSeekMath语料库，包含1200亿数学相关标记，是从Common Crawl中通过精心设计的数据选择流程提取的。 2. 提出了DeepSeekMath-Base 7B，在DeepSeekMath语料库上进行了预训练，在多个数学基准测试中表现出色，包括GSM8K和MATH。 3. 进行了数学指令调优，提出了DeepSeekMath-Instruct 7B，在多个基准测试中优于其他开源模型。 4. 引入了Group Relative Policy Optimization (GRPO)，一种有效的强化学习算法，在DeepSeekMath-Instruct 7B上进行训练，进一步提高了性能。 5. 分析了代码训练对数学推理的影响，发现代码训练可以提高数学推理能力。 6. 探讨了强化学习的工作原理，提出了一个统一的范式来理解不同的训练方法，并提供了如何实现更有效的强化学习的方向。
"如何利用公开的网页数据提升数学推理能力？" "代码训练如何提高数学推理能力？" "强化学习如何有效提升数学推理模型的性能？"
全行业研究报告分享下载平台
  • 0731-84720580
  • 商务合作：really158d
  • 友链申请 (QQ)：1737380874
关于我们
更多
关于我们
三个皮匠报告微信公众号
三个皮匠报告微信小程序
扫码咨询商务合作事宜
友情链接：
营销自动化 亿欧智库 微播易 阿里妈妈
copyright@2008-2013 长沙思想领动信息技术有限公司版权所有        网站备案/许可证号：湘B2-20190120 | 工信部备案号：湘ICP备2023027541号-2 | 公安备案号：湘公网安备43010402001071号
客服
商务合作
小程序
服务号
折叠