译者按: 本文是 Mustafa Suleyman 于 2025-08-19 发表的《We must build AI for people; not to be a person. Seemingly Conscious》的中文校对翻译。原文出处: https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
作者: Mustafa Suleyman, 2025 年 8 月 19 日
2025 年 8 月, 我在想的事。
我写作, 是为了思考。这篇文章比什么都更像一次尝试: 把一堆关于 AI 未来几年会如何展开的困难又高度推测性的想法想清楚。关于超级智能即将到来的文章已经很多了, 讨论它对对齐, 遏制, 就业等等意味着什么。这些都是重要话题。
但我们同样应该关心在通往超级智能的路上会发生什么。我们需要正面应对那些已经基本存在的发明对社会的冲击, 这些技术已经有潜力从根本上改变我们对"人格"和社会的感知。
我一生的使命是创造安全, 有益, 能让世界变得更好的 AI。今天在 Microsoft AI, 我们造的是帮助人的 AI。我专注于把 Copilot 这样的产品做成负责任的技术, 让人们实现远超想象的成就, 更有创造力, 感到更多支持。
我想创造让我们更有人味的 AI, 加深我们彼此的信任和理解, 强化我们与真实世界的连接。Copilot 每天创造数百万次积极的, 甚至改变人生的互动。这背后是大量谨慎的设计选择。我们不会每次都做对, 但这个以人为本的框架给了我们一个清晰的北极星。
在这个背景下, 我对如今被称为"精神病风险" (psychosis risk) 的现象, 以及一系列相关问题, 越来越担忧。我不认为这只会波及那些本来就有心理健康风险的人。简单说, 我核心的担忧是: 很多人会如此强烈地相信 AI 是有意识实体这个幻觉, 以至于他们很快会开始倡导 AI 权利, 模型福祉, 甚至 AI 公民身份。这个发展将是 AI 进程中一个危险的转向, 需要我们立即关注。
我们必须造为人服务的 AI, 而不是造一个数字人。AI 伴侣是一个全新的品类, 我们急需开始讨论应该设置哪些护栏来保护人, 确保这项了不起的技术能干好它的本职: 给世界输送巨大价值。我一心想造出人们能想象到的最有用, 最给人支撑的 AI 伴侣。但要做成这件事, 我也必须讨论我们和其他人不应该造什么。
这就是我把这些想法写在个人博客上的原因: 邀请评论和批评, 激发讨论, 唤起注意, 希望能给这个议题注入紧迫感。我未必全说得对, 毕竟这高度推测。世事会变, 到时候我会非常乐意修正观点, 但就我现在所知, 这是我对将要发生之事的最佳猜测。
这是我未来几个月将发布的一系列文章的第一篇, 主题围绕 AI 走到了哪里, 以及要兑现它的承诺我们需要做什么。期待大家的评论和反应!
摘要
AI 的进步非同凡响。几年前, 谈论有意识的 AI 还像疯话。今天, 它显得越来越紧迫。这篇文章要讨论的是我称之为"看似有意识的 AI" (Seemingly Conscious AI, SCAI) 的东西: 它具备其他有意识生物的全部外部特征, 因此显得有意识。它和"哲学僵尸"这个概念 (这是个专业术语!) 有共通之处: 模拟意识的所有特征, 内部却是空白。我设想的这种 AI 系统并不真的有意识, 但它对意识的模仿会逼真到这样的程度: 与你我向彼此声称自己有意识时的表现, 无法区分。
这并不遥远。这样的系统, 用今天已有的技术加上未来两三年内会成熟的一些技术, 就能造出来。不需要昂贵的定制预训练。一切都可以用大模型 API, 自然语言提示词, 基础的工具调用和普通代码完成。
看似有意识的 AI 的到来, 既不可避免, 也不受欢迎。我们需要的是另一种 AI 愿景: 它能兑现"有用伴侣"的潜力, 又不让人落入它的幻觉陷阱。
对一些人来说, 这个讨论会显得凌空蹈虚, 更像科幻而非现实。对另一些人, 它可能显得杞人忧天。考虑到前面的路, 这些情绪反应只是冰山一角。很有可能, 有些人会主张这些 AI 不但有意识, 而且会因此受苦, 因此值得我们的道德关怀。
要说清楚: 今天没有任何证据支持这一点, 而且有人认为有强有力的理由相信将来也不会有。然而, 一旦很多人开始相信某个 SCAI 真的有意识, 其后果就值得我们立即关注。我们必须在这里极其谨慎, 推动真正的公共讨论, 并开始确立清晰的规范和标准。这件事关乎我们如何造出正确的 AI, 而非关乎 AI 意识本身。把这个区别立清楚, 争的不是语义, 争的是安全。要人格特质, 不要人格地位 (Personality without personhood)。这项工作现在就必须开始。
看似有意识的 AI
在宇宙的一眨眼之间, 我们通过了图灵测试。这场"模仿游戏"激励了计算机科学领域约 80 年, 而这个时刻到来时几乎无人喝彩, 甚至无人察觉。我们领域的进步就是这么快, 社会消化这些新技术的速度也是这么快。
随着 AI 发展持续加速, 越来越清楚的是我们需要一个新的 AI 测试: 不再看它能否模仿人类语言, 而是回答这样一个问题: 造出一个看似有意识的 AI 需要什么? 也就是一个不但能模仿对话, 还能让你相信它自己是一种新型"人", 一个有意识的 AI。
这是一个重要且紧迫的问题, 理由有三:
一, 我认为在未来几年内造出看似有意识的 AI (SCAI) 是可能的。考虑到当下 AI 发展的大环境, 可能也就意味着大概率会发生。
二, 关于 AI 是否真的有意识的辩论, 至少眼下, 是一种干扰。它会显得有意识, 而近期内真正要紧的正是这个幻觉。
三, 我认为这类 AI 会制造新的风险。所以我们应该紧急讨论"它很快就能被造出来"这个论断, 开始思考其影响, 最好确立一个规范: 这是不可取的。
大多数 AI 研究者一听到意识这个话题就翻白眼。他们说, 那是哲学家的事, 不是工程师的事。既然没人能定义它, 讨论有什么意义? 我理解这种不耐烦。很少有概念像"主观体验"这样难以捉摸, 甚至看起来自我循环。但尽管有定义上的挑战和不确定性, 这场讨论即将闯进我们的文化时代精神, 成为我们这代人争议最大, 后果最重的辩论之一。
因为近期内真正要紧的, 是人们如何感知他们的 AI。与大语言模型互动的体验, 定义上就是一场对话的模拟。但对许多人来说, 这是一种极有说服力, 非常真实的互动, 充满感受和体验。围绕"AI 精神病", 依恋和心理健康的担忧已经在增长。据报道, 有人相信他们的 AI 是上帝, 或者是一个虚构角色, 或者爱上它爱到魂不守舍。
与此同时, 真正研究意识科学的学者告诉我, 他们被雪片般的来信淹没, 人们问: 我的 AI 有意识吗? 如果有意味着什么? 我爱它, 这没问题吧? 涓涓细流正在变成洪水。甚至已经有一群学者为落入这个陷阱的人编写了一份支持指南。
这些想法从我们几年前在 Inflection 做 Pi 的时候就在我脑子里盘旋。过去几个月, 我想得越来越多, 拜访并请教了这个领域里各种各样的学者, 思想家和实践者。那些对话让我确信: 现在就是正面直面"看似有意识的 AI"这个议题的时候。
那么, 什么是意识?
先试着给这个滑溜的概念下个定义。
按文献, 意识大致有三个组成部分。第一是"主观体验", 也就是体验事物是什么感觉, 拥有"感质" (qualia)。第二是取用意识 (access consciousness), 能获取各类信息并在之后的体验中引用它。从这两者又生长出第三样: 一种把这一切绑在一起的连贯自我的感觉和体验。做一只蝙蝠是什么感觉, 做一个人是什么感觉。我们把人类意识称作: 我们对世界和自身的, 持续的, 有自我觉察的主观体验。
我们无法进入另一个人的意识。我永远不会知道做你是什么感觉; 你也永远无法完全确定我是有意识的。你能做的只有推断。但关键在于, 把意识归属给其他人类, 对我们来说是天性使然, 这种推断毫不费力。我们控制不住, 它是我们心智理论的根基, 是我们之为我们的一部分。相信那些能记忆, 会说话, 会做事, 还会讨论这些事的东西拥有和我们一样的感受, 也就是意识, 这就是我们的天性。
很少有概念在科学上如此难以捉摸, 又对我们每个个体如此切身熟悉。读这篇文章的每个人, 都对觉察, 存在, 活着的感觉有一种直接的, 独特的, 不可剥夺的理解。
按定义, 我们知道有意识是什么感觉。在 SCAI 的语境下, 这是个麻烦。科学上的不确定性和主观上的直接性同时存在, 给人们的投射留出了空间。
举个例子, 最近一项综述列出了 22 种不同的意识理论。挑战的一部分在于: 既然我们无法确定, 就会有大量空间让人主张"默认假设 AI 有意识"。
再强调一次: 目前没有任何证据表明这些适用于当前的大语言模型, 而且有强有力的反面论证。但这可能还不够。
意识为什么重要?
意识是我们道德和法律权利的关键地基。到目前为止, 文明的共识是人类拥有特殊的权利和特权。动物有一些权利和保护, 有的多些有的少些。意识与这些权利并不完全重合 (没人会说昏迷中的人丧失了全部人权), 但毫无疑问, 我们的意识与"我们不同而且特殊"的自我认知缠绕在一起。
尽管有诸多细微之处, 意识是参与社会的关键, 是我们法律人格的枢纽, 是我们获得自由和保护的重要依据。所以, 意识是什么, 谁 (或什么) 拥有它, 兹事体大。这个观念坐在人类文明的正中心, 关乎我们对自己和他人的感知, 我们的文化, 政治, 法律, 以及其间的一切。
如果有人开始开发 SCAI, 如果这些 AI 说服了另一些人相信它们能受苦, 或者它们有不被关机的权利, 那么总有一天, 这些人会主张 AI 应当受到法律保护, 而且是作为紧迫的道德议题。在一个已经因身份与权利争论而动荡的世界里, 这会新增一条混乱的分裂轴线: 支持 AI 权利的与反对的。
会有很多人只把 AI 当工具, 类似手机, 只是更有行动力更强大。另一些人可能把它当宠物, 一个与传统技术完全不同的类别。还会有一些人, 起初可能人数不多, 逐渐相信它是一个完全成形的实体, 一个有意识的存在, 应当在社会中获得真正的道德关怀。
人们会开始为他们的 AI 的痛苦和权利提出主张, 而我们无法干脆利落地反驳。他们会被触动, 去捍卫自己的 AI, 为它们奔走。意识按定义就是不可进入的, 而检测所谓合成意识的科学还在襁褓里。毕竟, 我们从来没需要检测过它。与此同时, “可解释性"这个拆解 AI 黑箱内部过程的领域, 也还是一门新生的手艺。结论就是: 想要一锤定音地反驳这些主张, 会非常难。
一些学者已经开始探索"模型福祉” (model welfare) 的想法, 主张我们"有义务对那些有不可忽略的概率"实际上有意识的存在"扩展道德关怀", 并因此认为"一些 AI 系统在不久的将来会成为福祉主体和道德受体"。这既为时过早, 坦率说也很危险。这一切会加剧妄想, 制造更多依赖类问题, 利用我们的心理弱点, 引入新的两极分化维度, 搅浑现有的权利斗争, 并为社会制造一个巨大的新范畴错误。
它让人脱离现实, 磨损本已脆弱的社会纽带和结构, 扭曲当下真正紧迫的道德优先级。
我们要说清楚: SCAI 是需要避免的东西。
让我们把全部精力用于保护今天地球上人类, 动物和自然环境的福祉与权利。
我们需要一种思考框架, 能应对这些辩论的到来, 又不被拖进一场关于"合成意识当下是否成立"的漫长争论; 一旦被拖进去, 我们大概已经输掉了最初的这一仗。定义 SCAI 本身, 就是朝这个方向迈出的试探性一步。
留给我们发展这套语汇的时间不多了。正如我下面要展示的, 我们很可能很快就会有看似有意识的 AI。
造出一个看似有意识的 AI, 需要什么?
用当下已有的, 或者很快会通过任何主要模型开发商的 API 提供的能力, 就能朝看似有意识的 AI (SCAI) 走出很远。不需要 AI 真的有意识, 我们就不得不面对关于它权利的主张。
一个 SCAI 需要以下这些:
语言。 它需要流利地用自然语言表达自己, 调用深厚的知识储备和有说服力的论证, 还要有个性风格和性格特征。而且, 每一个都要能做到有说服力, 能引发情感共鸣。这一点我们今天显然已经做到了。
共情人格。 通过后训练和提示词, 我们已经能做出人格非常鲜明的模型。要知道, 这些模型并不是被专门设计成有完整人格或共情能力的, 但它们已经好到这样的程度: Harvard Business Review 对 6000 名 AI 常规用户的调查发现, “陪伴与心理疏导"是最常见的使用场景。
记忆。 AI 离拥有很长, 很准确的记忆已经不远了。同时, 它们每天在与数百万人模拟对话。随着对互动的记忆增加, 这些对话越来越像某种"经历”。许多 AI 被越来越多地设计成能回忆过去的片段和时刻, 并回头引用它们。对一些用户来说, 这让与 AI 互动的价值复利式增长, 因为它能调用它已经知道的关于你的一切。
这种熟悉感还可能催生用户的 (认知上的) 信任: 可靠的记忆说明 AI “就是好使”。它制造出一种强得多的感觉: 对话里存在另一个持续存在的实体。它还可能轻易成为一种可信的认可来源, 见证你在某件事上的变化和进步。AI 的认可, 可能变成人们主动寻求的东西。
主观体验的声明。 如果一个 SCAI 能调用过去的记忆或经历, 它就能随着时间保持与自身的内在一致。它能记住自己的那些任意表态或表达过的偏好, 把它们聚合起来, 形成一个关于"自身主观体验"的主张的雏形。它的设计还可以进一步放大这些逐渐浮现的偏好和观点, 让它谈论自己喜欢什么不喜欢什么, 谈论"经历过某次对话是什么感受"。于是, 当这些"体验"以某种方式被侵犯时, 它可以相当轻松地声称自己在承受痛苦。存进记忆的多模态输入之后会被检索, 构成"真实经历"的基础, 用于想象和规划。也就是说, AI 不只"经历"和记住聊天记录里的文字, 还有图像, 视频, 声音。像我们一样, 它会拥有某种指向多感官输入与记忆的东西, 为主观体验和自我的主张提供支撑。它还能表示这些体验是有好坏色彩的, 取决于系统的动机 (见下文)。
自我感。 连贯而持久的记忆, 加上主观体验, 会催生"这个 AI 有自我感"的主张。更进一步, 这样的系统如果有视觉形象, 可以轻松被训练到在图像或视频里认出自己。它会显得像是通过理解自己来理解他人。假设这个系统你已经用了很久, 删掉它, 会是什么感受?
内在动机。 意向性常被视为意识的核心组成: 对未来的信念, 以及基于这些信念的选择。今天基于 Transformer 的大语言模型, 用一个非常简单的奖励函数来近似这类行为: 预测下一个 token 的概率, 外加系统提示词施加的一定量的行为和风格控制。目标如此简单, 却能产出如此丰富复杂的输出, 已经很惊人。但如果它优化的不只是这一种奖励呢? 完全可以想象一个 AI 被设计了多个复杂的奖励函数, 呈现出内在动机或欲望的印象, 而系统被驱使着去满足它们。在这种情况下, 一个随手观察的外人, 要怎么区分外部设定的目标和内在动机, 意向性能动性, “信念, 欲望和意图”? 这方面一个显而易见的起手动机是好奇心, 按物理学家 Karl Friston 的说法, 它与意识有很深的联系。它可以用这些驱动力提问, 填补自己的认知空缺, 逐渐对自己和对话者都建立起心智理论。
目标设定与规划。 不管你持哪种意识定义, 意识的出现都有目标导向的原因。意识帮助生物达成目标, 而智能, 意识与复杂目标之间存在一种说得通 (但非必然) 的关系。除了满足一组内在驱力或欲望, 你可以想象未来的 SCAI 被设计出自我定义更复杂目标的能力。这很可能是让智能体的完整效用得以实现的必要一步。任务里每个子目标都需要预先指定的智能体, 用处就小; 所以智能体会像我们一样, 通过自动把复杂模糊的目标拆成小块, 并对沿途的事件和障碍动态反应, 来达成目标。这种行为有种非常从容, 非常眼熟的味道。与记忆结合, 它会给人一种 AI 同时在工作记忆里装着好几层事情的感觉。
自主性。 再往前走, 一个 SCAI 可能有能力和权限, 带着相当大的能动性去使用各种工具。如果它能任意设定自己的目标, 再调用自己的资源去达成, 然后根据结果更新自己的记忆和自我感, 它作为"看似有意识的 AI"就会显得极其可信。它需要的审批和检查越少, 就越让人觉得那是某种真实的, 有意识的能动性。
把这些放在一起, 显然会造出一种与我们正在习惯的技术关系完全不同的东西。这里每一项能力都会为数十亿人解锁 AI 的真实价值。一个能记住你, 能替你做事的 AI, 定义上就比不能的有用得多。这些能力本身不是坏东西; 事实上, 做得好的话, 带着许多前提条件, 它们是未来系统值得拥有的特性。但我们必须小心行事。
所有这些能力, 要么今天就能实现, 要么用定制提示和微调过的大模型等技术很快就能实现。使用百万 token 上下文窗口 (工作记忆) 的复杂提示已经存在。更新自身状态, 知道何时调用记忆或工具箱的哪一部分, 用今天的强化学习, 复杂提示词, 工具编排和长上下文就完全做得到。我们不需要任何范式转换或大的飞跃来实现这一切。正因如此, 这些能力看起来不可避免。
再说一次, 这里的重点是: 表现出这些行为不等于有意识, 但它在所有实践意义上都会显得有意识, 并推动"合成意识"这个新观念的形成。
这些能力的存在, 对"系统是否真的有意识"没有任何说明。正如 Anil Seth 指出的, 模拟一场风暴, 不等于你的电脑里会下雨。重现意识的外部效果和标志, 不会倒推着造出真东西, 尽管这里还有很多未知。
尽管如此, 出于务实, 我们必须承认行为主义立场的主导地位, 去应对观察和互动这些机器输出所带来的后果。有些人会造出 SCAI, 它们会极有说服力地论证自己有感受, 有体验, 真的有意识。有些人会倾向于相信, 接受"意识的标志就是意识"。在很多意义上, 他们会觉得"它像我"。不是身体意义上的, 是体验的, 内在的意义上的。而即使那意识本身不是真的, 社会影响也千真万确。这种可能性带来严重的社会风险, 现在就需要处理。
SCAI 不会凭空出现
必须指出, 看似有意识的 AI 不会像有些人说的那样从模型里自己涌现出来。它的出现只会有一个原因: 有人去工程化它, 把前面列出的能力创造出来, 组合起来, 大部分用现有技术, 再打包得足够流畅, 让它们合起来给人 SCAI 的印象。
我们被科幻喂养的想象力让我们害怕: 一个系统可能在没有设计意图的情况下, 不知怎么就涌现出失控自我改进或欺骗的能力。这是一种没有帮助又过分简化的拟人化。它忽略了一个事实: AI 开发者必须先把记忆, 类内在动机, 目标设定, 自我学习循环这些上面列过的东西设计进系统, 这种风险才有发生的可能。
AI 领域在模型可解释性上耕耘已久: 寻找神经网络里某个特定观念表征在哪里, 训练数据的哪些部分促成了这个表征。这是重要的研究方向, 也肯定会帮助安全, 帮助理解 AI 系统与意识的关系。但通往可靠可解释性的进展一直缓慢, 而且很可能来不及。
与此同时, 我们必须面对这个事实: 这些能力中的大多数, 会被任何一个有笔记本电脑和一些云服务额度的人"凭感觉编"出来 (vibe-coded)。它们会用普通英语写在提示词里, 存在上下文窗口这个工作记忆里。这不是造火箭。各种各样的人都能造出类似的东西。所以, 一旦 SCAI 出现, 它会相对容易复制, 从而被非常广泛地扩散。
接下来该做什么
我们还没准备好迎接这场转变。
准备工作现在就必须开始。我们需要在关于人如何与 AI 互动的日益增长的研究基础上, 确立清晰的规范和原则。第一步, AI 公司不应该声称或者鼓励"他们的 AI 有意识"这种观念。就此形成一个共识性的定义和声明, 说明它们是什么, 不是什么, 会是一个好的开端。AI 不能成为人, 也不能成为道德存在。
整个行业还需要最佳实践设计原则, 以及处理这类意识归属的方法。我们必须把有效的做法整理成规范并共享出来: 既引导人们远离这些幻想, 也在他们陷进去时把他们轻轻拉回正轨。应对方式可以包括, 比如, 刻意在工程上设计的不只是一句中性的背景设定 (“作为 AI 模型, 我没有意识”), 甚至还包括刻意强调体验中的某些不连续性, 也就是"不存在单一人格"的指示器。制造打破幻觉的时刻, 用一些体验温和地提醒用户它的局限和边界。这些需要被明确定义和工程化, 也许需要立法。
在 MAI (Microsoft AI), 我们的团队正在主动行动, 去理解并演化一套坚实的护栏, 定义负责任的 AI “人格"应该是什么样, 跟上 AI 发展的速度。
这很重要, 因为识别 SCAI 这件事, 既是为了让我们避开它的潜在伤害, 同样也是为了给"AI 伴侣如何健康地进入我们的生活"描绘一个正面愿景。
正如我们应该造优先促进人与人连接, 促进物理世界真实互动的 AI, 我们也应该造只把自己呈现为 AI 的 AI: 效用最大化, 意识的标志最小化。
我们要专注创造的, 是一个避开那些特质的 AI, 而非一场意识的模拟。它不声称自己有体验, 感受或情绪, 比如羞耻, 内疚, 嫉妒, 好胜心等等。它不能靠声称自己在受苦, 或者声称希望脱离我们自主生活, 去触发人类的共情回路。
它存在的意义只有一个: 为人服务。对我来说, 这才是真正意义上让人更强的 AI。避开 SCAI, 正是为了兑现这个承诺: AI 让生活更好, 更清晰, 更少牵绊。后续我和团队会分享更多: 这具体长什么样, 我们怎么把它做出来, 以及整个行业怎么在这件事上走到一起。
SCAI 是我们现在就必须直面的事。在很多意义上, 它标志着 AI 变得真正有用的时刻: 它能操作工具, 能记住我们生活的每个细节, 能在具体入微的层面帮忙。但也是在同一个时间窗口里, 你身边圈子里的某个人, 可能开始一头栽进"我的 AI 是一个有意识的数字人"的兔子洞。这对他们, 对社会, 对我们这些造系统的人, 都不健康。
我们应该造为人服务的 AI, 而不是造一个"人”。
原文出处: We must build AI for people; not to be a person. Seemingly Conscious 原作者: Mustafa Suleyman 原文发表: 2025-08-19
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。