译者按: 本文是 David Silver, Richard S. Sutton 于 2025-04 发表的《Welcome to the Era of Experience》的中文校对翻译。原文出处: https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
译注: 本文是 MIT Press 出版的《Designing an Intelligence》一书章节的预印本, 全文约 5000 英文词, 此处为全文翻译（参考文献列表从略）。依据 DeepMind 官方 PDF 译出。
摘要
我们正站在人工智能新纪元的门槛上, 它有望达到前所未有的能力水平。新一代智能体将主要通过从经验中学习来获得超人的能力。本文探讨将定义这个新时代的关键特征。
人类数据的时代
人工智能近年来取得了惊人的进展, 靠的是在海量人类生成数据上训练, 再用人类专家的示例与偏好做微调。大语言模型（LLM）是这条路线的典型代表, 它们达到了横扫一切的通用性: 一个模型能写诗、解物理题、诊断医疗问题、总结法律文书。
然而, 模仿人类足以把许多人类能力复制到相当水平, 这条路线本身却很可能无法在许多重要的课题与任务上达到超人智能。在数学、编程、科学这些关键领域, 从人类数据中能提取的知识正在迅速逼近极限。高质量数据源, 那些真正能提升强模型表现的数据, 大多已经被消耗掉, 或即将被消耗掉。单靠人类数据监督学习驱动的进步速度, 正在明显放缓, 这预示着需要一种新方法。而且, 真正有价值的新洞见, 例如新定理、新技术、新的科学突破, 存在于当前人类理解的边界之外, 现有的人类数据无法覆盖它们。
经验时代
要更进一步, 需要一种新的数据来源。这种数据必须随着智能体变强而持续改进; 任何静态的合成数据生产流程都会很快被甩在后面。让智能体从自己的经验中持续学习, 也就是从智能体与环境交互所产生的数据中学习, 就能做到这一点。AI 正处在一个新时期的开端, 经验将成为改进的主要媒介, 并最终让今天系统所用的人类数据规模相形见绌。
这个转变可能已经开始了, 即便对最能代表人类中心路线的大语言模型也是如此。一个例子是数学能力。AlphaProof 最近成为第一个在国际数学奥林匹克竞赛中达到奖牌水平的程序, 超越了人类中心的路线。它最初接触的是人类数学家多年创作的约十万条形式化证明, 随后它的强化学习算法通过与形式化证明系统的持续交互, 又生成了一亿条新证明。对交互式经验的专注, 让 AlphaProof 得以探索既有证明之外的数学可能性, 从而解出新颖而困难的问题。非形式化数学也有类似成功: 用自生成数据取代人类专家数据, 例如 DeepSeek 最近的工作就"凸显了强化学习的力量与美: 与其明确教模型怎么解题, 不如只给它正确的激励, 它就能自主发展出高级的解题策略。"
我们的主张是: 一旦经验学习的全部潜能被释放, 会涌现出难以想象的新能力。这个经验时代很可能由这样一类智能体与环境来定义: 除了从海量经验数据中学习之外, 它们还将在以下几个维度上突破人类中心 AI 系统的局限:
- 智能体将栖身于经验流之中, 而非零散的交互片段。
- 它们的动作与观察将深深扎根于环境, 而非只靠人类对话交互。
- 它们的奖励将扎根于对环境的体验, 而非来自人类的预先判断。
- 它们将围绕经验来规划与推理, 而非只用人类的方式推理。
我们相信, 今天的技术, 只要配上适当选择的算法, 已经提供了足够强大的基础去实现这些突破。而且, AI 社区对这一议程的追求, 会催生朝这些方向的新创新, 让 AI 快速进化成真正超人的智能体。
经验流
一个经验型智能体可以终其一生持续学习。在人类数据时代, 基于语言的 AI 大多只关注短的交互片段: 用户提问, 智能体（也许经过几步思考或工具调用）作答。从一个片段到下一个片段, 几乎没有信息被带过去, 也就谈不上随时间的适应。而且, 智能体只追求当前片段内的结果, 例如直接回答眼前这个问题。相比之下, 人类（以及其他动物）活在一条延续多年的动作与观察之流中。信息贯穿整条流, 行为会依据过往经验自我修正、自我改进。目标也可以用流中很远的未来的动作与观察来定义: 人类会为了改善健康、学会语言、取得科学突破这类长期目标来选择行动。
强大的智能体应该拥有自己的经验流, 像人类一样在长时间尺度上延展。这将让智能体为实现未来目标而采取行动, 并随时间不断适应新的行为模式。例如, 一个接入用户可穿戴设备的健康智能体, 可以在数月里监测睡眠、活动量与饮食习惯, 然后提供个性化的建议与鼓励, 并根据长期趋势和用户的具体健康目标调整方案。类似地, 个性化教育智能体可以跟踪用户学一门新语言的进度, 识别知识缺口, 适应其学习风格, 在数月甚至数年里调整教学方法。再如, 科学智能体可以追求雄心勃勃的目标, 比如发现新材料或减少二氧化碳。它可以长期分析真实观测数据, 开发并运行模拟, 提出现实世界的实验或干预建议。
在每个例子里, 智能体都要走一串步骤, 使指定目标的长期成功最大化。单独一步可能不带来任何即时收益, 甚至短期有害, 但整体上仍可能贡献于更长期的成功。这与当前的 AI 系统形成鲜明对照: 后者对请求给出即时回答, 没有能力去衡量或优化自己的行动对环境的未来影响。
动作与观察
经验时代的智能体将在真实世界中自主行动。人类数据时代的 LLM 主要关注"人类特权"的动作与观察: 向用户输出文字, 再把用户的文字输入进来。这与自然智能截然不同: 动物通过运动控制和感官与环境交互。动物（尤其是人类）当然会与同类交流, 但用的是与其他感知运动控制相同的接口, 而非某种特权通道。
人们早就认识到 LLM 也可以在数字世界里执行动作, 例如调用 API。起初, 这些能力主要来自人类的工具使用示例, 而非智能体自己的经验。但编码与工具使用能力已越来越多地建立在执行反馈之上: 智能体真的运行代码, 并观察发生了什么。最近, 新一波原型智能体开始以更通用的方式与计算机交互: 直接使用人类操作电脑的那套界面。这些变化预示着一个转变: 从只有人类特权的交流, 转向远为自主的交互方式, 智能体得以独立地在世界中行动。这样的智能体将能主动探索世界, 适应变化的环境, 发现人类可能永远想不到的策略。
这些更丰富的交互将提供自主理解并掌控数字世界的手段。智能体可以使用"人类友好"的动作与观察, 例如用户界面, 便于与用户交流协作; 也可以采取"机器友好"的动作, 执行代码、调用 API, 为自己的目标自主行动。在经验时代, 智能体还会通过数字接口与真实世界交互: 科学智能体可以监测环境传感器、远程操作望远镜, 或者控制实验室里的机械臂自主做实验。
奖励
如果经验型智能体能够从外部事件与信号中学习, 而非只从人类偏好中学习, 会怎样？
人类中心的 LLM 通常针对基于人类预先判断的奖励做优化: 专家看到智能体的动作, 判断它好不好, 或者在多个候选中挑最好的。例如, 专家可能评判健康智能体的建议、教育助手的教学、科学家智能体提出的实验。这些奖励或偏好由人类在脱离后果的情况下拍板, 而不是通过测量这些动作对环境的实际效果得出, 因此它们没有直接扎根于世界的现实。以这种方式依赖人类的预判, 通常会给智能体的表现装上一块打不穿的天花板: 智能体发现不了那些被人类评审者低估的更好策略。要发现远超现有人类知识的新想法, 就必须使用扎根的奖励（grounded rewards）: 从环境本身产生的信号。例如, 健康助手可以把用户的健康目标落实为一个由静息心率、睡眠时长、活动量等信号组合而成的奖励; 教育助手可以用考试成绩作为语言学习的扎根奖励。以减缓全球变暖为目标的科学智能体, 可以用二氧化碳浓度的实测值当奖励; 以发现更强材料为目标的, 可以用材料模拟器里抗拉强度、杨氏模量等测量值的组合。
扎根的奖励也可以来自属于智能体环境一部分的人类。比如用户可以报告蛋糕好不好吃、运动后有多疲惫、头痛的疼痛级别, 让助理智能体改进菜谱、优化健身建议或改进用药推荐。这类奖励衡量的是智能体的动作在其环境内造成的后果, 最终应当比一个预先评判蛋糕配方的的人类专家提供更好的帮助。
如果不从人类数据里来, 奖励从哪里来？一旦智能体通过丰富的动作与观察空间接入世界, 扎根信号根本不缺。世界上遍地都是这样的量: 成本、错误率、饥饿感、生产率、健康指标、气候指标、利润、销量、考试成绩、成功率、访问量、产量、股价、点赞、收入、愉悦或痛苦、经济指标、精度、功率、距离、速度、效率、能耗。还有无数信号来自特定事件的发生, 或者从原始的观察与动作序列中提取的特征。
原则上可以造出许多不同的智能体, 各自把某一个扎根信号当作奖励去优化。有一种观点认为, 哪怕只是一个这样的奖励信号, 只要优化得足够有效, 就可能足以诱导出广泛能干的智能（“奖励就够了"假说）。因为在复杂环境里达成一个简单目标, 往往要求掌握五花八门的技能。
不过, 单一奖励信号表面上并不满足通用 AI 的要求: 通用 AI 要能被可靠地引导向用户想要的任意行为。那么, 自主优化扎根的、非人类的奖励信号, 是否与现代 AI 系统的要求相冲突？我们认为不必然, 这里勾勒一种可能的方案（其他方案也可能成立）: 依据扎根信号, 以用户引导的方式灵活地调整奖励。例如, 奖励函数可以由一个神经网络定义, 它把智能体与用户及环境的交互作为输入, 输出一个标量奖励。这样, 奖励可以按用户的目标来选择或组合环境信号。用户设定"帮我提升体能”, 奖励函数就返回心率、睡眠、步数的某个函数; 用户设定"帮我学西班牙语", 奖励函数就返回西语考试成绩。
而且, 用户可以在学习过程中提供反馈, 比如满意度, 用来微调奖励函数。奖励函数随之调整它选择与组合信号的方式, 并识别、纠正任何错位。这也可以理解为一个双层优化过程: 顶层优化用户反馈, 底层优化来自环境的扎根信号。用这种方式, 少量人类数据就能撬动大量的自主学习。
规划与推理
经验时代会改变智能体规划与推理的方式吗？最近, 会推理、会用语言"思考"的 LLM 取得了大量进展: 模型在输出答案前先走一条思维链。概念上, LLM 可以充当通用计算机: 它可以把 token 追加进自己的上下文, 在给出最终结果前执行任意算法。
在人类数据时代, 这些推理方法被刻意设计成模仿人类的思考过程: 提示模型产出人类风格的思维链、模仿人类思考的轨迹、或者强化那些与人类示例一致的思考步骤。推理过程还可能被进一步微调, 去产出与人类专家判定的正确答案相匹配的思考轨迹。
然而, 人类语言极不可能是通用计算机的最优实例。更高效的思考机制肯定存在, 可能使用非人类的语言, 例如符号计算、分布式计算、连续计算或可微计算。一个自我学习的系统原则上可以通过从经验中学会如何思考, 来发现或改进这类方法。例如, AlphaProof 学会了以与人类数学家很不一样的方式形式化地证明复杂定理。
进一步说, 通用计算机的原则只解决了智能体的内部计算, 没有把它与外部世界的现实连接起来。被训练去模仿人类思维、甚至匹配人类专家答案的智能体, 可能继承深埋在这些数据里的错误思维方式, 比如有缺陷的假设或固有偏见。如果一个智能体被 5000 年前的人类思想与专家答案训练, 它可能会用万物有灵论去推理物理问题; 1000 年前, 它会用神学框架; 300 年前, 它会用牛顿力学; 50 年前, 用量子力学。超越每一种思维方式, 都需要与真实世界交互: 提出假设、跑实验、观察结果、更新原理。同样, 智能体必须扎根于真实世界的数据, 才能推翻错误的思维方式。这种扎根提供了一个反馈回路, 让智能体把继承来的假设放到现实里检验, 并发现不受当下主流人类思维方式束缚的新原理。没有这种扎根, 再复杂的智能体也只会变成人类既有知识的回音室。要走出回音室, 智能体必须主动与世界互动, 收集观测数据, 用它来迭代修正自己的理解, 这在许多方面正是驱动人类科学进步的过程。
直接把思考扎根于外部世界的一种可能方式, 是构建世界模型: 预测智能体的动作对世界的后果, 包括预测奖励。比如健康助手考虑要不要推荐本地健身房或健康播客, 它的世界模型可以预测这个动作之后用户的心率或睡眠会怎么变, 也预测未来的对话会怎么走。这让智能体可以直接以自己的动作及其对世界的因果效应为单位来做规划。随着智能体在经验流中持续与世界交互, 它的动力学模型不断更新, 纠正预测误差。有了世界模型, 智能体就可以应用可扩展的规划方法, 提升预期表现。
规划与推理并不互斥: 智能体可以在规划中用内部的 LLM 计算来选择每一步动作, 或者模拟与评估这些动作的后果。
为什么是现在？
从经验中学习不是新鲜事。强化学习系统早就掌握了大量在模拟器中表达、有清晰奖励信号的复杂任务（大致对应图 1 中的"模拟时代"）。RL 方法在双陆棋、围棋、国际象棋、扑克、西洋陆军棋等棋牌, Atari、星际争霸 II、Dota 2、GT 赛车等电子游戏, 机器手解魔方等灵巧操作任务, 以及数据中心冷却等资源管理任务上, 达到或超过了人类水平。AlphaZero 这样强大的 RL 智能体, 展现了随神经网络规模、交互经验数量、思考时间而扩展的惊人且几乎无上限的可扩展性。但这一范式下的智能体没有跨过模拟（奖励单一而精确定义的封闭问题）与现实（奖励看似定义不清的多元开放问题）之间的鸿沟。
人类数据时代提供了一个诱人的解法: 海量人类数据里包含着覆盖极广任务的自然语言示例。在这些数据上训练的智能体, 比模拟时代的窄成就获得了宽得多的能力面。于是经验式 RL 的方法论大范围被弃用, 全面转向人类中心的 AI。
但这次转向丢掉了一样东西: 智能体自我发现知识的能力。比如 AlphaZero 发现了国际象棋和围棋的全新战略, 改变了人类下这两种棋的方式。经验时代将把这种能力与人类数据时代达到的任务通用性调和起来。当智能体能在真实世界经验流中自主地行动与观察, 且奖励可以灵活地连接到大量扎根的现实信号上时, 这就会成为可能。能与复杂真实动作空间交互的自主智能体的出现, 加上能在丰富推理空间中解开放问题的强大 RL 方法, 都表明向经验时代的转变迫在眉睫。
强化学习方法
强化学习有深厚的历史, 根子扎在自主学习: 智能体通过与环境直接交互自学。早期 RL 研究产出了一整套强大的概念与算法: 时序差分学习让智能体能估计未来奖励, 带来了双陆棋上超人表现这样的突破; 由乐观或好奇心驱动的探索技术, 帮助智能体发现有创造性的新行为, 避免困在次优套路里; Dyna 算法让智能体构建并学习自己的世界模型, 用于规划与推理; options 与 option 间/内学习等概念实现了时间抽象, 让智能体能在更长的时间尺度上推理, 把复杂任务拆成可管理的子目标。
然而, 人类中心 LLM 的崛起把关注点从自主学习挪到了利用人类知识上。RLHF（基于人类反馈的强化学习）和让语言模型对齐人类推理的方法被证明极其有效, 推动了 AI 能力的飞速进步。但这些方法虽然强大, 却常常绕过了 RL 的核心概念: RLHF 用人类专家顶替了机器估计的价值, 回避了价值函数; 人类数据的强先验削弱了对探索的依赖; 以人类为中心的推理降低了对世界模型与时间抽象的需求。
可以说, 这次范式转变是把婴儿和洗澡水一起倒掉了。人类中心 RL 带来了空前宽的行为面, 但也给智能体的表现压了一块新天花板: 智能体去不了人类既有知识之外的地方。而且人类数据时代的 RL 方法主要为短片段、无扎根的人类交互设计, 不适用于长的、扎根的自主交互流。
经验时代是重新审视并改进经典 RL 概念的机会。这个时代会带来思考奖励函数的新方式: 灵活地扎根于观测数据。它会重新审视价值函数, 以及如何从尚未完结的长经验流中估计它们。它会带来原则性而实用的真实世界探索方法, 发现与人类先验截然不同的新行为。会有捕捉扎根交互复杂性的新型世界模型。会有新的时间抽象方法, 让智能体在越来越长的时间跨度上基于经验推理。在 RL 的地基上把核心原则适配到新时代的挑战, 我们就能释放自主学习的全部潜能, 铺出通往真正超人智能的路。
后果
经验时代的到来, 即 AI 智能体从与世界的交互中学习的时代, 预示着一个与以往任何时候都截然不同的未来。这个新范式潜力巨大, 也带来需要认真对待的风险与挑战。
积极的一面, 经验学习将解锁前所未有的能力。日常生活中, 个性化助手会利用连续的经验流, 在数月或数年的尺度上贴合个人的健康、教育或职业目标。最具变革性的可能是科学发现的加速: AI 智能体将在材料科学、医学、硬件设计等领域自主设计并执行实验, 通过持续从自己实验的结果中学习, 快速开拓知识前沿, 以空前的速度催生新材料、新药物与新技术。
而这个新时代也带来重大的新挑战。人类能力的自动化有望提升生产率, 但也可能造成岗位流失。智能体甚至可能表现出过去被认为专属人类的能力, 比如长期问题求解、创新, 以及对现实世界后果的深刻理解。
进一步说, 对任何 AI 的滥用都存在一般性的担忧, 而能长时间自主与世界交互以达成长期目标的智能体, 风险更高。默认情况下, 人类干预与调停智能体动作的机会更少, 因此需要极高的信任门槛与责任要求。离开人类数据与人类思维方式, 也可能让未来的 AI 系统更难解读。
但在承认经验学习会放大某些安全风险、且确保平稳过渡还需要更多研究的同时, 也应该看到它会带来一些重要的安全收益。
第一, 经验型智能体能感知自己所处的环境, 行为可以随环境变化而适应。任何预编程的系统, 包括固定的 AI 系统, 都可能对环境无感, 变得与它被部署进的变化世界格格不入。比如关键硬件故障、疫情引发社会剧变、科学新发现引发技术连锁反应。而经验型智能体可以观察并学会绕开失灵的硬件、适应快速的社会变化、拥抱并跟上新科学技术。也许更重要的是, 它能识别出自己的行为正在引发人类的担忧、不满或痛苦, 并自适应地修正行为以避免这些负面后果。
第二, 智能体的奖励函数本身可以通过经验来调整, 例如用前文描述的双层优化。重要的是, 这意味着错位的奖励函数常常可以通过试错逐步纠正。比如, 与其盲目优化某个信号, 例如回形针最大化, 奖励函数可以在回形针生产吞噬地球全部资源之前, 依据人类担忧的迹象被修改。这类似于人类彼此设定目标, 然后在观察到有人钻空子、忽视长期福祉或造成不良后果时调整目标; 当然, 也和人类的目标设定一样, 不存在完美对齐的保证。
最后, 依赖物理经验的进步, 天然受制于在真实世界中执行动作并观察后果所需的时间。比如新药开发, 就算有 AI 辅助设计, 仍需要无法一夜完成的真实试验。这可能给潜在的 AI 自我改进速度装上一个天然的刹车。
结论
经验时代标志着 AI 演化的关键时刻。站在今天坚实的地基上, 但走出人类数据的局限, 智能体将越来越多地从自己与世界的交互中学习。它们将通过丰富的观察与动作自主地与环境交互, 在终生经验流中持续适应。它们的目标可以被导向任意组合的扎根信号。而且, 智能体将利用强大的非人类推理, 构建立足于自身动作对环境的后果之上的规划。最终, 经验数据将在规模与质量上盖过人类生成的数据。这一范式转变, 伴随 RL 算法的进步, 将在众多领域解锁超越任何人类的新能力。
原文出处: Welcome to the Era of Experience 原作者: David Silver, Richard S. Sutton 原文发表: 2025-04-15
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。