DeepSeek-R1技術報告-冷啟動數據和多階段訓練流程,大型基礎模型的推理模式對提升推理能力至關重要

deepseek 正式發布 DeepSeek-R1，并同步開源模型權重。 開源 DeepSeek-R1 推理大模型，與 o1 性能相近。‍‍

開源 DeepSeek-R1-Zero，預訓練模型直接 RL，不走 SFT。

開源用 R1 數據蒸餾的 Qwen、Llama 系列小模型，蒸餾模型超過 o1-mini 和 QWQ。

模型開源的同時，技術報告也同步放出：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

1.引言

近年來，大型語言模型（LLMs）通過后訓練技術不斷優化，逐漸接近人工通用智能（AGI）。后訓練在提升推理任務準確性、符合社會價值觀和用戶偏好方面表現出色，且計算資源消耗較少。OpenAI 的 o1 系列模型通過增加推理“思考鏈條”長度，顯著提升了數學、編程和科學推理能力，但更有效的推理擴展方法仍是研究熱點。

本文次嘗試通過純強化學習（RL）提升語言模型的推理能力，以 DeepSeek-V3-Base 為基礎，采用 GRPO 框架訓練。經過數千步訓練后，DeepSeek-R1-Zero 在推理基準測試中表現出色，例如在 AIME 2024 上的 Pass@1 分數從 15.6% 提升至 86.7%（多數投票后），接近 OpenAI-o1-0912 的水平。但該模型存在可讀性差和語言混用的問題。

為解決這些問題，研究團隊推出 DeepSeek-R1，引入冷啟動數據和多階段訓練流程，終使其性能達到與 OpenAI-o1-1217 相當的水平。此外，研究團隊還通過知識蒸餾將 DeepSeek-R1 的能力傳遞到較小模型，如 Qwen2.532B，發現其效果優于單d使用 RL。開源的蒸餾模型在推理基準測試中創下新紀錄，表明大型基礎模型的推理模式對提升推理能力至關重要。

2.相關研究

SFT：之前的研究通常依賴 SFT 來增強模型性能。然而，SFT 需要大量標注數據，成本G且耗時。 推理時擴展：OpenAI 的 o1 系列模型通過增加 CoT 推理長度來實現推理能力擴展，但測試時擴展的挑戰仍然存在。 基于過程的獎勵模型（PRM）：一些研究采用過程獎勵模型引導模型進行推理。然而，這些模型在實際應用中存在局限性。 強化學習：強化學習已被用于提升推理能力，但通常與 SFT 數據結合使用，難以探索純 RL 的潛力。 搜索算法：如蒙特卡洛樹搜索（MCTS）等算法也被用于增強推理，但效果有限。

3.主要貢獻

次驗證了純強化學習在 LLM 中顯著增強推理能力的可行性（DeepSeek-R1-Zero），即無需預先的 SFT 數據，僅通過 RL 即可激勵模型學會長鏈推理和反思等能力。

提出了多階段訓練策略（冷啟動->RL->SFT->全場景 RL），有效兼顧準確率與可讀性，產出 DeepSeek-R1，性能比肩 OpenAI-o1-1217。

展示了知識蒸餾在提升小模型推理能力方面的潛力，并開源多個大小不一的蒸餾模型（1.5B~70B），為社區提供了可在低資源環境中也能獲得G推理能力的模型選擇。

附件：DeepSeek-R1技術報告-冷啟動數據和多階段訓練流程,大型基礎模型的推理模式對提升推理能力至關重要