译者按: 本文是 Jim Fan (@DrJimFan) 于 2025-01-20 发表的《We are living in a timeline where a non-US company is keeping the》的中文校对翻译。原文出处: https://x.com/DrJimFan/status/1881353126210687089。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
[!note] 版本说明 原文是 X 上的长推文 (评论帖 + 技术要点), 受版权保护。本文为编译精要版: 按原帖行文顺序完整转述全部要点, 关键句做短引并附英文原文, 不是逐句全文翻译。
开篇立场 (原文短引)
原帖开头两句是整个帖子传播最广的部分:
“We are living in a timeline where a non-US company is keeping the original mission of OpenAI alive - truly open, frontier research that empowers all.” 我们活在这样一条时间线上: 一家非美国公司在延续 OpenAI 的最初使命, 真正开放的、让所有人受益的前沿研究。
“The most entertaining outcome is the most likely.” 最有戏剧性的结局往往是最可能发生的结局。
Jim Fan 说, 这件事"讲不通" (It makes no sense), 但它确实发生了: DeepSeek-R1 (深度求索的推理模型) 一口气开源了一批模型, 而且把训练秘方也全部公开了。
技术要点转述
原帖随后逐条拆解了 DeepSeek-R1 技术报告里让他印象最深的几点:
1. 纯强化学习起步, 不靠监督微调 R1-Zero 这条路线是"冷启动"后纯粹由强化学习 (RL, Reinforcement Learning) 驱动, 完全没有 SFT (Supervised Fine-Tuning, 监督微调) 阶段。他把这类做法类比为 AlphaZero 式的"从零开始", 而不是先模仿人类数据再优化。
2. 没有用那些大家以为必须用的东西 论文明确没有采用 MCTS (蒙特卡洛树搜索) 这类复杂搜索, 也没有依赖 PRM (Process Reward Model, 过程奖励模型) 这类学习出来的奖励模型。奖励信号来自硬编码规则可以直接判定的真值 (答案对不对、格式对不对)。Jim Fan 特别欣赏这一点: 学习型奖励模型容易被模型"钻空子", 规则奖励反而更稳。
3. 思考时间是涌现出来的, 不是设计出来的 训练过程中, 模型自发地学会了花更长时间思考、自我反思、回头检查 (论文里著名的 “aha moment”)。他强调这是涌现属性 (emergent property), 不是预先编程的行为。
4. GRPO 算法 训练用的 GRPO (Group Relative Policy Optimization) 是 DeepSeek 自己在 2024 年提出的方法, 把 PPO 里的 critic 网络去掉, 用同一问题多个采样的平均奖励做基线, 更省算力。
5. 蒸馏出的小模型同样开源 除了 R1 本体, DeepSeek 还把推理能力蒸馏进了一系列 Qwen、Llama 底座的小模型并全部放出, 让没有大算力的人也能用上推理模型。
潜台词: 与 OpenAI 的对照
整帖的張力来自一个对照: OpenAI 当时的 o1 模型隐藏思维链、不公开方法细节、闭源收费; 而一家中国公司用 MIT 许可证开源了对标 o1 的模型, 附上完整技术报告。“keeping the original mission of OpenAI alive” 这句话的讽刺意味, 正是这条帖子被疯转的核心原因。
一句话总结
这条帖子把 R1 的发布定性为一个历史性时刻: 开放研究的旗帜易手了。它不是最详尽的技术分析, 却是当晚最准确捕捉到"这件事为什么重要"的表达。
原文出处: We are living in a timeline where a non-US company is keeping the 原作者: Jim Fan (@DrJimFan) 原文发表: 2025-01-20
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。