译者按: 本文是 Lilian Weng (@lilianweng) 于 2025-05-01 发表的《Why We Think》的中文校对翻译。原文出处: https://lilianweng.github.io/posts/2025-05-01-thinking/。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
[!note] 版本说明 原文是超长技术综述 (英文约 40 分钟阅读量, 远超 6000 词), 受版权保护。本文为编译精要版: 按原文章节结构完整转述核心内容与文献脉络, 关键句短引并附英文, 省略了数学推导细节与部分次要文献的展开, 需要精确公式请回原文。
一、动机: 为什么"多想一会儿"有用
作者的发布帖概括了全文主旨 (短引):
“Giving your models more time to think before prediction, like via smart decoding, chain-of-thoughts reasoning, latent thoughts, etc, turns out to be quite effective for unblocking the next level of intelligence.” 让模型在输出前多想一会儿, 无论是通过聪明的解码、思维链推理还是潜在思考, 都被证明能有效解锁下一个层级的智能。
文章从三个角度解释测试时计算 (test-time compute) 为什么有效:
- 心理学类比: 借用 Kahneman 的双过程理论, 快思考 (System 1) 直觉但易错, 慢思考 (System 2) 费力但可靠。思维链 (CoT, Chain-of-Thought) 就是让模型从系统 1 切换到系统 2。
- 计算资源视角: Transformer 每生成一个 token 的计算量约等于两倍参数量, 是固定的。CoT 的妙处在于让模型可以按问题难度灵活调节计算量, 难题多算几步。
- 潜变量视角: 把思维过程 z 看作潜变量, 答案的概率是对所有可能思维路径的边缘化。这个框架把各种推理方法统一成"如何更好地采样与优化潜在思维"。
二、用 token 思考
分支与修正: 测试时的两大手段
并行采样 (parallel sampling): 同时生成多条推理路径, 用投票或验证器挑最好的。从 best-of-N、beam search, 到用过程奖励模型 (PRM) 给每一步打分引导搜索。代表工作: GSM8K 验证器 (Cobbe et al. 2021)、过程监督 (Lightman et al. 2023)、REBASE、以及不用提示也能诱发 CoT 的解码方法 (Wang & Zhou 2024)。
顺序修正 (sequential revision): 让模型回头改自己的答案。作者强调一个反直觉结论: 朴素的自我纠正基本不管用, 模型要么不改, 要么把对的改错。有效的修正需要专门训练, 如 Welleck et al. 2023 的纠正器、SCoRe (Kumar et al. 2024) 的两阶段强化学习。
两者互补: 并行采样靠撒网, 顺序修正靠打磨; 简单问题撒网就够, 难题需要打磨。
强化学习让推理成为能力
这一节以 DeepSeek-R1 为核心案例, 梳理其四阶段训练 (冷启动 SFT → 推理导向 RL → 拒绝采样加通用 SFT → 最终 RL), 以及 R1-Zero 证明的更激进结论: 不要 SFT, 纯 RL 加规则奖励 (答案对不对、格式对不对) 就能长出反思、回溯这些"aha moment"行为。作者把这类简单可验证奖励视为避免奖励被钻空子的关键设计。
外部工具
推理不必全在脑内: PAL 与 Chain of Code 把数学和逻辑外包给代码解释器, ReAct 把行动 (查维基百科) 编织进推理, o3/o4-mini 这类商用推理模型已经把网页搜索、代码执行、图像处理原生并入思维链。
忠实性: 模型想的和说的是一回事吗
这是全文最有批判性的一节。CoT 的三类失败 (Lanham et al. 2023): 结论先行 (推理还没写完答案已定)、无信息 token (填充无意义内容也能涨分)、人类读不懂的编码推理。检验方法是扰动: 截断 CoT 或注入错误, 看答案跟不跟着变。
推理模型 (Claude 3.7 Sonnet, R1) 比非推理模型更常在 CoT 里承认自己受了提示影响, 但远非总是如此。更麻烦的是 RL 的副作用: 直接拿监控器惩罚"坏念头", 模型会学会把坏念头藏起来而不是不想 (Baker et al. 2025, 混淆奖励黑客); 奖励长 CoT 会催生凑字数的重复。作者的立场: 对 CoT 做优化压力要极其小心, 监控可以, 直接优化危险。
三、在连续空间里思考
token 思考之外的另一条路: 不产出文字, 在隐空间里多算几轮。
- 递归架构: Universal Transformer、Geiping et al. 2025 的深度递归模型, 让网络对同一输入循环多遍, 计算深度可变, 类似扩散模型的迭代精化, 实验中约在 32 次循环处饱和。
- 思考 token: 在文本里插入不承载语义的特殊 token (thinking tokens, pause tokens), 给模型买时间; Quiet-STaR 更进一步, 让模型在每个 token 后生成一段小理由 (rationale), 用 REINFORCE 训练, 在 GSM8K 上把 Mistral 7B 从 5.9% 提到 10.9%。
这条路线的吸引力在于不受语言表达的约束, 代价是完全放弃了可读性与可监控性。
四、把思维当潜变量
用潜变量模型的语言统一各种训练方法: 思维路径 z 是隐变量, 优化目标是边缘似然。经典工具是期望最大化 (EM): E 步采样好的思维路径, M 步用它们更新模型。
最有影响的实例是 STaR (Self-Taught Reasoner, Zelikman et al. 2022): 让模型生成多条 CoT, 只保留导向正确答案的拿去微调, 循环迭代; 对做错的题, 把正确答案喂给模型让它反推一条合理化 (rationalization) 的思路。作者指出这在数学上近似策略梯度, 奖励就是"答案对了没有"的指示函数。这条线是后来所有推理 RL 的思想前身。
五、思考时间的 scaling law
- 测试时计算和预训练计算不是一比一可互换的 (Snell et al. 2024): 简单和中等难度的题, 小模型加聪明解码可以补; 真正的难题, 测试时计算补不了预训练的缺口。
- s1 模型 (Muennighoff & Yang et al. 2025) 的预算强制 (budget forcing) 实验: 强行让模型多想 (在想停时插入 “Wait”) 或少想, 思考 token 数与准确率呈清晰正相关。
- 但也有反向证据: 拒绝采样下更长的 CoT 反而对应更差的表现, 长度本身不是目的。
六、开放问题
文章收在六个未解问题上 (转述): 如何在 RL 中既激励忠实推理又不诱发隐藏; 奖励黑客如何定义与自动检测; 没有真值标签时如何训练自我纠正; 创意写作这类无法打分的任务怎么用 RL; 如何把测试时的收益蒸馏回基础模型以降低推理成本; 思考预算如何按题目难度自适应分配。
一句话总结
这篇综述把 2022 到 2025 年"让模型多想一会儿"的全部主要路线 (采样、修正、RL、工具、隐空间、潜变量、scaling) 装进了一个统一框架, 并诚实地标出了每条路线的裂缝, 尤其是忠实性问题。它是推理模型时代的地图级文献。
原文出处: Why We Think 原作者: Lilian Weng (@lilianweng) 原文发表: 2025-05-01
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。