计算机行业：s1和LIMO带来的产业启示-250208（15页）.pdf

1、 计算机/行业专题报告/2025.02.08 请阅读最后一页的重要声明！s1 和 LIMO 带来的产业启示 证券研究报告 投资评级投资评级:看好看好(维持维持)最近 12 月市场表现 分析师分析师 杨烨 SAC 证书编号：S0160522050001 相关报告 1.AI 编程对软件行业意味着什么？2025-02-04 2.Kimi 发布多模态思考模型 k1.5，对标 OpenAI o1 2025-01-26 3.豆包大模型更新至 1.5-pro，更真实、更懂你 2025-01-24 核心观点核心观点 s1-32B 模型：知识蒸馏技术实现小样本高性价比训练模型：知识蒸馏技术实现小样本高性价比训练

2、：TechCrunch 于于 2月月 5 日报道，斯坦福大学与华盛顿大学联合研究团队在李飞飞的带领下，成日报道，斯坦福大学与华盛顿大学联合研究团队在李飞飞的带领下，成功以低于功以低于 50 美元的训练成本开发出高性能美元的训练成本开发出高性能 AI 推理模型推理模型 s1-32B。该模型在数学推理和编程能力测试中展现出与 OpenAI 的 o1 模型及 DeepSeek 的 R1 模型相匹敌的优异表现。李飞飞团队运用“测试时缩放”技术，选择开源预训练模型 Qwen2.5-32B-Instruct 作为基座模型作为基座模型，并使用包含 1000 个样本的 s1K 数据集进行监督微调，最终获得了

3、s1-32B 模型。训练过程仅使用了 16 块英伟达H100 GPU 进行 26 分钟的核心训练。我们认为，高质量数据是模型训练的基我们认为，高质量数据是模型训练的基石，尽管石，尽管 s1K 数据集样本量较小，但其中蕴含的丰富推理信息为数据集样本量较小，但其中蕴含的丰富推理信息为 Qwen2.5-32B-Instruct 语言模型的监督微调提供了有力支持，这也充分表明了训练数据语言模型的监督微调提供了有力支持，这也充分表明了训练数据集质量的重要性。集质量的重要性。同时，同时，未来产业的发展依然离不开基座模型能力的持续迭未来产业的发展依然离不开基座模型能力的持续迭代，我们在看到代，我们在看到 s

4、1-32B 模型带来高性价比路径的同时，也不可忽视基座模型模型带来高性价比路径的同时，也不可忽视基座模型能力上的前期投入。能力上的前期投入。LIMO：从“更大即更强”到“少即是多”：从“更大即更强”到“少即是多”：2025 年年 2 月月 5 日，上海交大日，上海交大团队提出团队提出颠覆性观点颠覆性观点 LIMO“少即是多”“少即是多”，认为大模型的推理能力本质上是认为大模型的推理能力本质上是“潜潜伏伏”的，而非的，而非“缺失缺失”的。的。LIMO 认为，推理能力“潜伏”于预训练模型中，关键在于如何通过精确的认知模板来“激活”这些内在能力。这一突破直接挑战了“监督式微调主要导致记忆而非泛化”的

5、传统观点，证明了高质量、小规模高质量、小规模的数据，远比低效的海量的数据，远比低效的海量数据数据训练更能激发训练更能激发 LLM 的真正推理能力的真正推理能力。产业启示：高质量数据与强大基座模型，缺一不可产业启示：高质量数据与强大基座模型，缺一不可：s1-32B 与 LIMO 模型的研究共通之处：利用高质量数据集微调预训练模型，在小样本条件下实现利用高质量数据集微调预训练模型，在小样本条件下实现高性能的模型推理能力高性能的模型推理能力。两个研究都不仅挑战了“更大即更强”的传统认知，更揭示了大模型推理能力的潜在机制。通过少量高质量的训练样本，成功激活了模型的“潜伏”能力，展示了“少即是多”的惊人

6、效果。这些研究表明这些研究表明 AI领域正在经历一场深刻的变革，不仅揭示了高效能、低成本开发路径的可能领域正在经历一场深刻的变革，不仅揭示了高效能、低成本开发路径的可能性，同时也指出了未来性，同时也指出了未来 AI 发展的关键方向发展的关键方向高质量数据集与强大的基座模高质量数据集与强大的基座模型。在这一框架下，研究的重点从单纯追求更大规模的数据和计算资源转向优型。在这一框架下，研究的重点从单纯追求更大规模的数据和计算资源转向优化数据质量和挖掘现有模型的潜在能力。化数据质量和挖掘现有模型的潜在能力。投资建议：投资建议：见正文。风险提示：风险提示：技术迭代不及预期的风险；商业化落地不及预期的风险