目录

摘要

引言

后训练

蒸馏（Distillation）

方法

DeepSeek-R1-Zero：基础模型上的强化学习

关键技术

DeepSeek-R1：冷启动强化学习

---

摘要

论文介绍 DeepSeek-R1-Zero 和 DeepSeek-R1。他们是通过大规模强化学习 (RL) 训练的模型，预训练中不含有 SFT。

引言

本文首次尝试使用纯强化学习（RL）来提升语言模型的推理能力。目标是探索LLM在没有任何监督数据的情况下发展推理能力的潜力，重点关注其通过纯RL过程的自我演化。

具体来说，使用DeepSeek-V3-Base作为基础模型，并采用GRPO作为RL框架来提升模型在推理方面的性能。

后训练

直接将强化学习应用于基础模型，不依赖监督微调作为预备步骤。

这种方法允许模型探索CoT来解决复杂问题，从而开发出DeepSeek-R1-Zero。

蒸馏（Distillation）

实验证明，将大模型（DeepSeek-R1）的推理模式蒸馏到小模型，其性能远超 “直接在小模型上用 RL 探索推理模式” 的效果。

方法

DeepSeek-R1-Zero：基础模型上的强化学习

直接在基础模型（DeepSeek-V3-Base）上应用大规模 RL，不依赖任何 SFT 数据，让模型自主探索推理路径。

关键技术

• RL 算法：采用 Group Relative Policy Optimization（GRPO），无需与策略模型同规模的 Critic 模型，通过 “组分数” 估计基线，降低训练成本。
• 奖励机制：仅用规则化奖励（无神经奖励模型），包括 “准确性奖励”（如数学题结果验证、代码编译反馈）和 “格式奖励”（强制推理过程放在指定标签内）。

格式奖励：要求模型把思考过程放在‘’和‘’标签之间。就像写作文要分段一样，这里规定了模型输出的格式，让思考过程和答案有清晰的区分。

• 训练模板：固定 “先推理过程、后最终答案” 的结构，避免内容偏见，观察模型自然进化。

DeepSeek-R1：冷启动强化学习

为解决 R1-Zero 的问题，设计四阶段训练 pipeline，核心是加入 “冷启动数据” 和 “多轮 RL+SFT”：

1. 冷启动（阶段 1）：用数千条高质量长链推理（CoT）数据微调基础模型，数据需满足 “可读性”（含总结、过滤混语言内容）和 “人类先验”（引导推理方向）。
2. 推理导向 RL（阶段 2）：在冷启动微调后的模型上，复用 R1-Zero 的 RL 流程，新增 “语言一致性奖励”（目标语言占比），平衡性能与可读性，训练至推理任务收敛。
3. 拒绝采样与 SFT（阶段 3）：用阶段 2 的 RL checkpoint 生成 SFT 数据，包括 60 万条推理数据（过滤低质量 CoT）和 20 万条非推理数据（写作、事实 QA 等），微调基础模型，补全通用能力。
4. 全场景 RL（阶段 4）：结合 “规则化奖励（推理任务）” 和 “奖励模型（通用任务）”，再进行一轮 RL，对齐人类偏好（有用性、无害性）。