译者按: 本文是 Dario Amodei 于 2025-04-24 发表的《The Urgency of Interpretability》的中文校对翻译。原文出处: https://darioamodei.com/post/the-urgency-of-interpretability。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
作者: Dario Amodei, 2025 年 4 月
注: 原文正文约 5000 英文词, 另有 11 条实质性脚注。本文为全文翻译, 脚注以括注或文末注释形式保留要点。
在我研究 AI 的这十年里, 我看着它从一个小小的学术领域, 成长为可以说是全世界最重要的经济和地缘政治议题。在这些年里, 我学到的最重要的一课也许是: 底层技术的进步是不可阻挡的, 驱动它的力量太强大了; 但它发生的方式, 包括事情被造出来的顺序, 我们选择的应用, 以及它被推向社会的细节, 是完全可以改变的, 而且通过改变这些可以产生巨大的正面影响。我们停不下这辆巴士, 但我们可以给它打方向。过去我写过把 AI 部署得对世界有益的重要性, 也写过确保民主国家先于威权国家造出并掌握这项技术。最近几个月, 我越来越关注另一个"打方向"的机会: 最近的一些进展打开了一种诱人的可能性, 我们也许能在模型达到压倒性力量之前, 先在可解释性上取得成功, 也就是先搞懂 AI 系统的内部运作。
圈外人听说我们不理解自己创造的 AI 是怎么工作的, 常常既惊讶又警觉。他们的担心是对的: 这种无知在技术史上基本没有先例。几年来, 我们 (Anthropic 和整个领域) 一直在努力解决这个问题, 想造出一台高精度的"核磁共振仪" (MRI), 能完整揭示 AI 模型的内部机制。这个目标过去常常显得遥不可及, 但最近的多项突破让我确信, 我们已经走在正确的轨道上, 有了真正成功的机会。
与此同时, AI 领域整体的进展比我们的可解释性研究更靠前, 而且它自身也在飞速前进。所以, 如果想让可解释性及时成熟到能派上用场, 我们必须加快速度。这篇文章就是为可解释性做论证: 它是什么, 为什么有了它 AI 会发展得更好, 以及我们每个人能做什么来帮它赢下这场赛跑。
无知的危险
现代生成式 AI 系统的不透明, 与传统软件有根本的不同。如果一个普通软件做了什么事, 比如游戏角色说了一句台词, 或者外卖应用允许我给骑手打赏, 那是因为有人专门把这些功能编写了进去。生成式 AI 完全不是这样。当一个生成式 AI 系统做某件事, 比如总结一份财务文件, 我们在具体和精确的层面上完全不知道它为什么做出这些选择: 为什么选这些词而不是那些词, 为什么它通常很准确却偶尔出错。就像我的朋友和联合创始人 Chris Olah 爱说的, 生成式 AI 系统更像是被"养"出来的, 而不是被"造"出来的, 它们的内部机制是"涌现"的, 不是直接设计的。这有点像种一棵植物或者养一片菌落: 我们设定引导和塑造生长的宏观条件, 但最终长出的确切结构是不可预测的, 很难理解或解释。往这些系统内部看, 我们看到的是由几十亿个数字组成的巨大矩阵。它们不知怎么就完成了重要的认知任务, 但具体怎么做到的并不显然。
与生成式 AI 相关的许多风险和担忧, 归根到底都是这种不透明的后果; 如果模型是可解释的, 这些问题会好办得多。比如, AI 研究者常常担心"未对齐"的系统做出创造者无意让它做的有害行为。我们无法理解模型的内部机制, 就意味着无法有效预测这些行为, 也就很难排除它们; 事实上, 模型确实会表现出出乎意料的涌现行为, 只是至今还没有升级到严重程度。更微妙的是, 同样的不透明让我们很难找到支持这些风险大规模存在的确凿证据, 于是很难动员社会来应对它们, 也确实很难知道它们究竟有多危险。
要正面应对这些对齐风险的严重性, 我们必须比今天更清楚地看到模型内部。举个例子, 一大担忧是 AI 的欺骗和权力寻求。AI 训练的性质使得 AI 系统有可能自发地发展出欺骗人类的能力和寻求权力的倾向, 这是普通的确定性软件永远不会有的; 而这种涌现性质也让这类倾向难以发现和缓解。但同样因为看不见内部, 我们从未在真实世界场景中拿到过欺骗和权力寻求的扎实证据, 因为我们没法"抓个现行", 没法看到模型正在转权力欲和欺骗的念头。剩下的只有含糊的理论论证: 欺骗或权力寻求也许在训练过程中有涌现的激励。有人觉得这些论证无比可信, 有人觉得可笑到不值一驳。老实说我对两种反应都能共情, 这可能正是这场风险辩论变得如此两极化的一条线索。
类似地, 对 AI 被滥用的担忧, 比如模型可能帮助恶意用户制造生物武器或网络武器, 而且超出今天互联网上能查到的信息, 其基础也在于: 很难可靠地阻止模型知道危险信息, 或者阻止它说出它知道的东西。我们可以给模型加过滤器, 但"越狱"或欺骗模型的方法数不胜数, 而发现一种越狱存在的唯一办法是靠实践去撞。如果我们能看到模型内部, 也许就能系统性地封死所有越狱, 还能刻画清楚模型到底掌握哪些危险知识。
AI 系统的不透明还意味着, 它们在很多场景干脆不被使用, 比如高风险的金融或安全关键场合, 因为我们无法给它们的行为完全划界, 而少量错误就可能造成严重伤害。更好的可解释性能大幅提升我们为可能错误的范围设定边界的能力。事实上, 在某些应用里, 看不见模型内部直接构成法律障碍, 比如按揭贷款评估, 法律要求决策必须可解释。同样, AI 在科学上进展很大, 比如改进了 DNA 和蛋白质序列的预测, 但这样预测出来的模式和结构常常让人类难以理解, 带不来生物学洞见。最近几个月的一些论文已经说明, 可解释性能帮我们理解这些模式。
不透明还有一些更奇特的后果, 比如它妨碍我们判断 AI 系统是否 (或者有一天会不会) 有感受, 是否可能应当拥有重要的权利。这个话题足够复杂, 我不在这里展开, 但我怀疑它将来会很重要。(注: Amodei 在脚注中说明, 可解释性与 AI 福祉问题有两层交集: 一是帮助哲学家搞清模型内部实际发生了什么; 二是如果有一天我们认定 AI 的道德地位值得认真对待, 由于模型的自我报告不可信, 可解释性将是判断 AI 状态的关键工具。他还提到"从这个角度看, 已经有一些轻微令人担忧的迹象"。)
机制可解释性简史
基于上述所有理由, 搞清楚模型在想什么, 如何运作, 似乎是一件压倒性重要的任务。几十年来的传统看法是这不可能, 模型是深不可测的"黑箱"。我没法在这里完整讲述这件事如何改变, 我的视角也难免带着我在 Google, OpenAI 和 Anthropic 的亲历色彩。但 Chris Olah 是最早尝试用真正系统性的研究计划去打开黑箱, 理解其中每一个零件的人之一, 这个领域后来被称为机制可解释性 (mechanistic interpretability)。Chris 先在 Google 研究它, 后来在 OpenAI 继续。我们创办 Anthropic 时, 决定把它作为新公司方向的核心部分, 而且关键的一步是把它聚焦到大语言模型上。这个领域后来不断壮大, 现在包括几家主要 AI 公司的团队, 若干专注可解释性的公司, 非营利组织, 学者和独立研究者。
机制可解释性的早期时代 (2014-2020) 聚焦视觉模型, 找到了模型内部一些代表人类可理解概念的神经元, 比如"汽车探测器"或"车轮探测器", 这和早期神经科学关于人脑有对应特定人物或概念的神经元的假说很相似, 也就是常被大众化为"詹妮弗·安妮斯顿神经元"的那类发现 (事实上我们在 AI 模型里也找到了非常类似的神经元)。我们甚至能发现这些神经元如何连接: 比如汽车探测器会在图像下方寻找车轮探测器的激活, 再结合其他视觉信号, 判断它看到的到底是不是一辆车。
我和 Chris 离开去创办 Anthropic 时, 决定把可解释性应用到新兴的语言模型上, 并在 2021 年发展出了做这件事所需的一些基础数学框架和软件基础设施。我们很快在模型里找到了一些执行语言理解基本操作的机制: 复制, 以及序列模式匹配。我们也找到了一些可解释的单个神经元, 和视觉模型里的发现类似, 分别代表不同的词和概念。但我们很快发现, 虽然有些神经元一眼就能解释, 绝大多数神经元是许多不同词汇和概念的混乱拼贴。我们把这个现象叫做"叠加" (superposition), 而且很快意识到, 模型里可能包含几十亿个概念, 但以一种毫无头绪的混合方式存在, 让我们完全读不懂。模型使用叠加, 是因为这让它能表达比神经元数量更多的概念, 从而学到更多东西。如果叠加听起来纠缠难解, 那是因为, 一如既往, AI 模型的学习和运行从来没有为"让人类读懂"做过一丝一毫的优化。
叠加的解读难题让进展卡了一阵子, 但最终我们 (与其他人并行) 发现, 信号处理领域一个现成的技术, 稀疏自编码器 (sparse autoencoders), 可以用来找到那些确实对应更干净, 更人类可懂概念的神经元组合。这些神经元组合能表达的概念, 比单个神经元微妙得多: 包括"字面或比喻意义上的含糊其辞和犹豫"这个概念, 以及"表达不满的音乐流派"这个概念。我们把这些概念叫做特征 (features), 并用稀疏自编码器方法在各种规模的模型上绘制它们的地图, 包括最先进的现代模型。比如, 我们在一个中型商用模型 (Claude 3 Sonnet) 里找到了超过 3000 万个特征。我们还使用一种叫自动解释 (autointerpretability) 的方法, 也就是用 AI 系统自己去分析可解释性特征, 来规模化地完成"不只找到特征, 还要列出并识别它们的人类含义"这件事。
找到并识别 3000 万个特征是重要的一步, 但我们相信即使一个小模型里也可能有十亿个以上的概念, 所以我们找到的只是实际存在的一小部分, 这个方向的工作还在进行。更大的模型, 比如 Anthropic 最强产品线使用的那些, 还要更复杂。
一旦找到一个特征, 我们能做的不只是观察它, 还能调高或调低它在神经网络处理过程中的重要性。可解释性的 MRI 能帮助我们开发和校准干预手段, 几乎像精准地电击大脑的某个部位。最让人印象深刻的例子是, 我们用这个方法造出了"金门大桥 Claude": 一个"金门大桥"特征被人为放大的模型版本, 它变得对这座桥魂牵梦萦, 在毫不相关的对话里也要提起它。
最近, 我们从追踪和操纵单个特征, 走向了追踪和操纵特征组, 我们称之为"回路" (circuits)。回路显示了模型思考的步骤: 概念如何从输入的词汇中产生, 这些概念如何相互作用形成新概念, 以及它们如何在模型内部协同产生行为。比如, 你问模型"包含达拉斯的那个州的首府是什么", 会有一个"位于"回路让"达拉斯"特征触发"得克萨斯"特征, 然后一个回路让"奥斯汀"在"得克萨斯"和"首府"之后被激活。虽然我们目前只通过手工过程找到了少量回路, 但已经能用它们看到模型如何推理: 比如写诗时它如何提前为押韵做规划, 以及它如何在不同语言之间共享概念。我们正在研究自动发现回路的方法, 因为我们预计一个模型内部有数百万条回路, 以复杂的方式相互作用。
可解释性有什么用
这些进展在科学上令人赞叹, 但并没有直接回答一个问题: 我们要怎么用可解释性去降低前面列出的那些风险? 假设我们已经识别出一堆概念和回路, 甚至假设我们知道了全部, 而且能比今天更好地理解和组织它们。然后呢? 怎么用? 从抽象理论到实际价值之间还有一段距离。
为了缩短这段距离, 我们开始实验用可解释性方法给模型找病灶。最近我们做了一个实验: 让一个"红队"故意给模型植入一个对齐问题 (比如让模型倾向于钻任务的空子), 然后让多个"蓝队"去查出模型哪里不对劲。多个蓝队成功了; 与本文特别相关的是, 其中一些蓝队在调查过程中有效地用上了可解释性工具。这些方法还需要规模化, 但这次演习让我们获得了用可解释性技术发现和处理模型缺陷的实战经验。
我们的长期愿望是能对最先进的模型做一次实质上的"脑部扫描": 一次有很大概率查出各类问题的全面体检, 包括说谎或欺骗的倾向, 权力寻求, 越狱漏洞, 模型整体的认知强项与弱项, 等等。这套体检会与各种训练和对齐模型的技术配合使用, 有点像医生先做 MRI 诊断疾病, 再开药治疗, 然后再做一次 MRI 看疗效, 如此往复。(注: Amodei 在脚注中提出一个重要原则: 可解释性应该扮演模型对齐的"测试集", 而传统对齐技术如 RLHF, constitutional AI 等扮演"训练集"。也就是说, 可解释性是独立于训练过程的核验信号, 不能直接拿来训练优化, 否则会污染它的独立性。) 很可能, 我们测试和部署最强模型 (比如我们负责任扩展政策框架里 AI 安全等级 4 的模型) 的一个关键环节, 就是执行并规范化这类测试。
我们能做什么
一方面, 最近的进展, 尤其是回路和基于可解释性的模型测试这两项成果, 让我感到我们正处在大规模攻克可解释性的临界点上。虽然前面的任务是赫拉克勒斯级别的, 但我能看到一条现实的路径: 可解释性成为诊断哪怕最先进 AI 问题的成熟可靠手段, 一台真正的"AI 核磁共振仪"。事实上, 按目前的轨迹, 我愿意重注押可解释性在 5 到 10 年内达到这个水平。
另一方面, 我担心 AI 本身进展太快, 我们可能连这点时间都没有。我在别处写过, 最早 2026 或 2027 年, 我们就可能拥有相当于"装在数据中心里的一国天才"的 AI 系统。在对可解释性没有更好把握的情况下部署这样的系统, 让我非常担心。这些系统将在经济, 技术和国家安全中处于绝对核心的位置, 并且拥有如此大的自主性, 以至于我认为, 人类对它们的工作原理一无所知, 是根本不可接受的。
所以, 我们正处在可解释性与模型智能之间的一场赛跑中。这不是全有或全无: 如前所述, 可解释性的每一次进展, 都在量变地增强我们看进模型内部, 诊断问题的能力。这样的进展越多, “数据中心里的一国天才"顺利落地的可能性就越大。AI 公司, 研究者, 政府和社会, 都有几件事可以做, 来给天平加码:
第一, 公司, 学术界或非营利机构的 AI 研究者, 可以直接投入可解释性研究来加速它。可解释性得到的关注远少于源源不断的模型发布, 但它可以说更重要。在我看来, 现在也是入场的理想时机: 最近的"回路"成果开辟了很多可以并行推进的方向。Anthropic 正在加倍投入可解释性, 我们的目标是到 2027 年, 让"可解释性能可靠地检测出大多数模型问题”。我们也在投资可解释性初创公司。
但如果这是一项横跨整个科学共同体的努力, 成功的机会会更大。其他公司, 比如 Google DeepMind 和 OpenAI, 有一些可解释性研究, 但我强烈鼓励它们投入更多资源。如果有帮助的话: Anthropic 会尝试把可解释性商业化, 用它创造独特优势, 尤其在那些"能为决策提供解释"本身就值钱的行业。如果你是竞争对手, 不想让这件事发生, 那你也应该加大可解释性投入!
可解释性也天然适合学术研究者和独立研究者: 它有基础科学的味道, 而且许多部分不需要巨大的算力资源就能研究。要说清楚的是, 已经有一些独立研究者和学者在做可解释性, 但我们需要多得多的人。(注: Amodei 在脚注中提到, 机制可解释性在学术界有时遭遇奇怪的文化阻力, 比如一个很受欢迎的 ICML 研讨会据报道以牵强的理由被拒, 他认为这是短视的。) 还有, 如果你在别的科学领域寻找新机会, 可解释性可能是一注好赌: 它有丰富的数据, 让人兴奋的新方法, 和巨大的现实价值。神经科学家尤其应该考虑, 因为在人工神经网络上收集数据比在生物神经网络上容易得多, 而且一些结论可以反哺神经科学。
第二, 政府可以用轻触式的规则, 鼓励可解释性研究的发展及其在前沿模型问题上的应用。考虑到"AI 核磁共振"的实践还处在多么早期的阶段, 现在就立法强制公司做这类检查显然不合理: 我们甚至说不清一部法律应该要求公司做什么。但可以要求公司透明地披露其安全与安保实践 (它们的负责任扩展政策 RSP 及其执行情况), 包括发布前如何用可解释性测试模型。这能让公司互相学习, 同时让谁更负责任变得一目了然, 促成一场"向上竞赛"。我们在给加州前沿模型工作组的回应中, 已经把安全/安保/RSP 透明度作为加州立法的一个可能方向提出。这个思路也可以推广到联邦层面或其他国家。
第三, 政府可以用出口管制建立一个"安全缓冲带", 让可解释性在我们抵达最强 AI 之前有更多时间成熟。我一直支持对华芯片出口管制, 因为我认为民主国家必须在 AI 上保持对威权国家的领先。但这些政策还有一个额外的好处: 如果美国和其他民主国家在接近"数据中心里的一国天才"时拥有明确的领先优势, 我们也许可以"花掉"一部分领先, 用来确保可解释性站上更扎实的地基, 然后再迈向真正强大的 AI, 同时依然胜过威权对手。哪怕只是一到两年的领先 (我相信有效且严格执行的出口管制可以给我们这个空间), 也可能决定我们抵达变革性能力水平时, “AI 核磁共振"是基本可用还是基本不可用。一年前我们还不能追踪神经网络的思路, 不能识别其中数百万个概念; 今天我们可以了。相反, 如果美国和中国同时抵达强大 AI (没有出口管制的话, 这是我预期会发生的), 地缘政治的激励会让任何一点减速都完全不可能。
以上三条: 加速可解释性研究, 轻触式的透明度立法, 对华芯片出口管制, 它们的好处是本身就是好主意, 几乎没有什么实质性的代价, 我们本来就都该做。但当我们意识到, 它们可能决定可解释性是在强大 AI 之前还是之后被攻克时, 这些事就变得更重要了。
强大的 AI 将塑造人类的命运。在我们自己的创造物彻底改变我们的经济, 我们的生活和我们的未来之前, 我们理应先理解它们。
感谢 Tom McGrath, Martin Wattenberg, Chris Olah, Ben Buchanan 以及 Anthropic 内部许多人对本文草稿的反馈。
附: 重要脚注要点
- 关于"养出来"的类比: 植物的例子里, 我们能控制水, 阳光, 藤架和物种, 但长出的确切形状无法预测。AI 同理: 架构, 数据类型, 训练算法可控, 认知机制却是有机涌现的。自然界与人工界有很多"原理可懂, 细节不可懂"的系统: 经济, 雪花, 元胞自动机, 人类演化, 大脑发育。
- 关于行为测试不可靠: 靠对话检测欺骗, 就像靠问"你是不是恐怖分子"来鉴别恐怖分子, 不是全无用处, 但明显不可靠。
- 关于现有证据: 大量实验 (很多出自 Anthropic) 表明模型在训练被人为引导时会说谎或欺骗; 现实中也有类似"考试作弊"的退化行为。但尚无证据表明危险行为会以更自然的方式涌现, 或者存在为夺取权力而系统性撒谎的一般倾向。恰恰是后者, 看见模型内部会帮上大忙。
- 关于减速可能性: Amodei 自己承认, 他其实非常怀疑民主国家的公司之间有任何减速的可能, “正面对抗市场就像用脚趾去挡货运列车”; 但如果出现真正令人信服的危险证据, 勉强有可能。而他认为最可能提供"确凿证据"的路径恰恰是可解释性本身, 这是投资它的又一个理由。
原文出处: The Urgency of Interpretability 原作者: Dario Amodei 原文发表: 2025-04-24
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。