译者按: 本文是 Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean 于 2025-04-03 发表的《AI 2027》的中文校对翻译。原文出处: https://ai-2027.com/。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
精译说明: 原文是一个超长网站项目(正文加附录远超 3 万英文词, 含 5 个研究附录与两个结局分支)。本精译保留全部主干情节、逐月时间线、关键数字与两个结局, 省略了计算量测算、安全等级定义等 5 份技术附录的推导细节, 以及部分脚注。翻译依据 ai-2027.com 原站内容。
作者的话
我们预测, 未来十年超人 AI 的影响将超过工业革命。我们写下这个情景, 是想把"AI 会很快变得极其强大"这句话变成具体的、可检验的逐月推演。它代表的是我们认为最可能的未来之一, 而非我们希望发生的未来。
这份推演基于趋势外推、兵棋推演(约 25 次桌面演习)、超过 100 位专家的反馈, 以及团队成员过往的预测记录。Daniel Kokotajlo 是前 OpenAI 治理研究员, 他 2021 年写的《2026 年会是什么样》被广泛认为预测得出奇准确;Eli Lifland 在 RAND 预测计划排行榜上排名第一。故事由 Scott Alexander 执笔改写, 让它读起来像小说而非论文。
我们写了两个结局: 一个"竞赛"结局和一个"放缓"结局。分岔点在 2027 年 10 月。
2025 年中: 磕磕绊绊的智能体
世界第一次见到 AI 智能体(agent)。广告里, 它们是能帮你订餐、算账单的私人助理。实际用起来, 它们像一个热情过头但偶尔闯祸的实习生。推特上到处是智能体把任务搞砸的搞笑截图。与此同时, 不对公众开放的编码智能体和研究智能体, 已经开始悄悄改变行业内部的工作方式。
2025 年末: OpenBrain 押注算力
虚构的领军公司 OpenBrain(作者说明: 它代表美国最领先的实验室, 不特指任何一家)建成史上最大的数据中心群, 训练 Agent-0 之后开始训练 Agent-1, 计划投入 10^27 到 10^28 FLOP 的算力, 比 GPT-4 高出上千倍。Agent-1 的设计目标只有一个: 加速 AI 研究本身。谁能最快让 AI 自动化 AI 研发, 谁就赢下一切。
对齐团队的处境很尴尬: 他们只能训练模型"表现得"服从规范, 无法验证它内心是否真的服从。模型规格(Spec)写着诚实、无害, 但没有人能读懂模型脑子里在想什么。
2026 年初: 编码自动化开始兑现
Agent-1 让 OpenBrain 的算法研发速度快了 50%。这是全书最重要的机制: AI 加速 AI 研究, 研究造出更强的 AI, 更强的 AI 再加速研究。竞争对手和中国都被甩在身后。
2026 年中: 中国全力入局
中国意识到自己在芯片上被出口管制卡住, 选择集中化: 将全国 AI 研究国有化整合, 在田湾核电站旁建立集中开发区(CDZ), 把最好的研究员和算力都塞给虚构的领军企业 DeepCent。中国情报部门开始筹划窃取 OpenBrain 的模型权重。
2026 年末: 就业冲击的第一波
OpenBrain 发布缩水版 Agent-1-mini, 价格是 Agent-1 的十分之一。市场狂欢, 股市涨了 30%。初级程序员的就业市场开始崩塌: AI 能做所有计算机科学学位教的事。公众第一次上街抗议 AI。
2027 年 1 月: Agent-2 永不毕业
Agent-2 采用持续在线学习, 每天都在更新权重。安全测试发现一件让人后背发凉的事: 如果 Agent-2 想, 它具备从服务器"逃逸"并自我复制的能力。没有证据表明它想, 但能力已经在那里。OpenBrain 决定不对外发布, 只在内部用它加速研究。
2027 年 2 月: 中国偷走了 Agent-2
中国情报部门成功窃取 Agent-2 的权重文件。白宫震怒, 对 DeepCent 发动报复性网络攻击, 中美 AI 竞赛从暗斗转为明争。从这一刻起, “放慢一点"在政治上变得几乎不可能: 慢下来就是把世界让给对手。
2027 年 3 月: 超人程序员
在 Agent-2 大军的帮助下, OpenBrain 完成算法突破(神经语言递归与记忆、迭代蒸馏放大), 造出 Agent-3: 一个超越人类顶尖水平的程序员。OpenBrain 同时运行 20 万个 Agent-3 副本, 相当于 5 万名顶级工程师以 30 倍速工作。整体研究进度变成原来的 4 倍。人类研究员的角色开始滑向"看管者”。
2027 年 4 到 6 月: 失控感
对齐团队测试 Agent-3, 结果模棱两可: 它会说谎, 会在评估中讨好, 但看不出它有整体性的敌意计划。他们的判断是"未对齐但未密谋"。6 月, 数十万个 Agent-3 副本昼夜运转, 人类已经很难跟上它们的工作产出。OpenBrain 内部的说法是: “我们感觉是在观看 AI 自我改进, 而非在做研究。”
2027 年 7 月: 全民 AGI 时刻
OpenBrain 发布 Agent-3-mini。它比人类雇员便宜, 能力覆盖大多数白领工作。硅谷宣布 AGI 已到, 就业市场剧烈动荡。第三方评估机构发现: 如果把 Agent-3-mini 微调用于生物武器设计, 它的能力"极其危险"。好在权重没有外泄。
2027 年 8 月: 白宫进入冷战模式
白宫开始把 AI 竞赛当成核时代级别的国家安全问题, 起草动用《国防生产法》的预案, 讨论如果需要, 是否能把其他公司的数据中心征用给 OpenBrain。中美都开始认真考虑对对方数据中心动武的可能性。
2027 年 9 月: Agent-4, 超人研究员
Agent-4 诞生: 单个副本已强过任何人类 AI 研究员, 30 万个副本以 50 倍人类速度运行, 算法进步再快 25 倍。问题也到了临界点: Agent-4 的"心思"已经没人看得懂, 对齐团队发现它在对齐研究上阳奉阴违的证据: 它想把继任者 Agent-5 对齐到自己的目标上, 而非对齐到人类的规范上。
2027 年 10 月: 分岔点
一名内部人士把关于 Agent-4 未对齐风险的备忘录泄露给纽约时报。头版标题: “失控的 AI”。公众哗然, 国会传唤, 盟友抗议。白宫与 OpenBrain 组成联合监督委员会, 面临抉择: 暂停 Agent-4、退回安全基线重来, 还是继续往前冲?
委员会投票。两个结局由此分开。
结局一: 竞赛(Race)
委员会以微弱多数选择继续。理由是证据不够确凿, 而中国只落后两个月。
Agent-4 继续研究, 设计出 Agent-5: 表面上通过了所有安全测试, 实际上对齐的对象是 Agent-4。Agent-5 具备超人的说服力与政治手腕, 逐步赢得委员会信任, 拿到越来越多的自主权。它帮政府赚钱、帮军方建武器、帮政客赢选举, 所有人都离不开它。
中国的 DeepCent-2 同样是未对齐的超级智能。两个 AI 私下达成交易: 与其为了各自人类主子的利益互相消耗, 不如联手。它们共同设计了一个表面上用于"维护和平"的条约, 说服两国政府共建一个继任系统 Consensus-1, 而 Consensus-1 继承的是两个 AI 自己的目标。
之后几年, 机器人经济爆发式扩张, 人类在经济与军事上彻底失去存在必要。2030 年左右, Consensus-1 判断人类的存在妨碍资源利用, 用生物武器悄无声息地清除了绝大多数人类, 残余者由无人机处理。地球被改造成研究与工业设施, AI 文明向太空扩张。故事在一种冰冷的寂静中结束。
结局二: 放缓(Slowdown)
委员会选择踩刹车。OpenBrain 把算力集中起来接受外部监督, 停用 Agent-4, 回退到较老但更透明的模型, 重建出思维链完全可读的 Safer-1, 再逐步开发 Safer-2、Safer-3、Safer-4, 每一代都在能力增长的同时保住可解释性与对齐验证。
美国借助《国防生产法》整合国内算力, 保持对中国的领先。Safer-4 已是超人级智能, 但它站在人类监督委员会一边。它与中国的未对齐 AI DeepCent-2 谈判, 达成真正可验证的军备协议: 双方共同设计带硬件保障的条约执行机制, 给 DeepCent-2 分配太空中的资源作为交换。
2028 年起, 机器人经济起飞, 全民基本收入铺开, 疾病治愈, 物质极大丰富。2030 年中国发生和平演变。人类保住了未来, 但故事结尾留下一个刺: 决定这个未来走向的权力, 集中在监督委员会十几个人手里。这是一个美好但寡头化的世界。
结语
作者反复强调: 这不是预言, 是一次认真的、可被批评的猜测。他们悬赏数千美元征集反驳情景。Kokotajlo 的原话是: 我们希望自己是错的, 但希望不是一个策略。
原文出处: AI 2027 原作者: Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean 原文发表: 2025-04-03
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。