译者按: 本文是 François Chollet (@fchollet) 与 ARC Prize Foundation 于 2025-03-24 发表的《Announcing ARC-AGI-2 and ARC Prize 2025 (arcprize.org) + François》的中文校对翻译。原文出处: https://arcprize.org/blog/announcing-arc-agi-2-and-arc-prize-2025。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
[!note] 版本说明 原文是 arcprize.org 官方公告长文加 Chollet 的 X 发布帖, 受版权保护。本文为编译精要版: 按原文结构完整转述全部要点与数据, 关键句短引并附英文, 不是逐句全文翻译。
一、发布帖开场 (短引)
Chollet 在 X 上的发布帖开头:
“Today, we’re releasing ARC-AGI-2. It’s an AI benchmark designed to measure general fluid intelligence, not memorized skills – a set of never-seen-before tasks that humans find easy, but current AI struggles with.” 今天我们发布 ARC-AGI-2。这是一个用来测量通用流体智力而非记忆技能的 AI 基准: 一组从未见过的新任务, 人类觉得容易, 当前的 AI 却很挣扎。
二、设计哲学: 反着所有基准来
公告的核心立场: 其他所有 AI 基准都在测超人类能力或专业知识 (奥数、博士级科学题), ARC-AGI 做相反的设计选择, 专门收集人类容易、AI 困难的任务。作者们把 AGI 定义为: 当"人类容易而 AI 困难的任务集合"清零时, AGI 就到了。
ARC-AGI-1 (2019) 测的是基本流体智力, 它扛了五年, 直到 2024 年底被 o3 式的测试时推理系统攻破 (o3-preview 低算力配置拿到 75.7%, 高算力配置 88%)。ARC-AGI-2 的升级目标: 光会"想"不够了, 还要求系统同时具备高适应性和高效率。
三、成绩单: 推理模型集体归零
公告给出的对照数据 (原文表格转述):
| 系统 | ARC-AGI-1 | ARC-AGI-2 | 每任务成本 |
|---|---|---|---|
| 人类小组 (至少 2 人) | 98% | 100% | 约 $17 |
| 人类平均 | 64.2% | 60% | 约 $17 |
| o3-preview (低算力) | 75.7% | 约 4% (进行中估计) | $200 |
| o1-pro | 约 50% | 约 1% (进行中估计) | 约 $200 |
| ARChitects (2024 冠军方案) | 53.5% | 3% | $0.25 |
| o3-mini-high | 35% | 0.0% | $0.41 |
| DeepSeek r1 / r1-zero | 15.8% | 0.3% | $0.08 |
| GPT-4.5 (纯 LLM) | 10.3% | 0.0% | $0.29 |
两个要点: 纯 LLM 得 0%, 公开的推理系统只有个位数。而每个 ARC-AGI-2 任务都被验证过至少 2 名普通人在 2 次尝试内能解出 (人类校准测试用了超过 400 人)。
四、AI 到底卡在哪: 三类失败模式
公告分析了前沿系统在新考卷上的三类系统性短板:
- 符号解释 (symbolic interpretation): 系统会做对称检查、镜像、变换, 但没法给符号赋予语义。它看得见图案, 读不出含义。
- 组合推理 (compositional reasoning): 单条全局规则的任务表现稳定, 一旦需要多条规则同时相互作用, 就崩。
- 情境规则应用 (contextual rule application): 死盯表面模式, 抓不住背后的选择原则; 同一规则换个语境就不会用了。
五、效率是智能的一部分
这次公告最重要的理论主张 (转述): 智能的定义里不能只有"能不能解决问题", 还必须包含"获得和部署能力的效率"。o3 用 $200 一题的暴力搜索拿分, 和人类 $17 一题 (以时薪折算) 且两次尝试内做对, 不是同一种智能。新排行榜从此按得分和成本两条轴同时汇报。图表标题直接写: 光靠规模不够 (scale is not enough)。
六、数据集与比赛设置
- 数据集: 训练集 1000 题 (公开, 难度不校准), 公开评测 120 题, 半私有评测 120 题, 私有评测 120 题 (后两者保密, 防污染)
- ARC Prize 2025: 2025-03-26 至 11-03, Kaggle 平台
- 奖金: 大奖 $700,000 (达到 85% 才解锁), 最高分奖 $75,000, 论文奖 $50,000, 进度奖 $125,000, 另有 $175,000 待公布
- 规则: 比赛环境禁用联网 API, 每次提交约 $50 算力额度 (比 2024 年翻倍), 获奖必须开源方案
七、给谁的号召
结尾的判断 (转述): 当前 AI 处在创意受限 (idea-constrained) 而非算力受限的阶段, 下一个突破未必来自大实验室, 很可能来自某个还没被主流注意的新想法。比赛的目的就是给这些想法一个被看见的市场。
一句话总结
这份公告干了一件事: 在整个行业为 o3 通过 ARC-AGI-1 欢呼三个月后, 换了一张人类依然轻松、o3 跌回个位数的考卷, 并把"效率"写进智能的定义里。它是 2025 年对"推理模型 = 接近 AGI"叙事最有分量的一盆冷水。
原文出处: Announcing ARC-AGI-2 and ARC Prize 2025 (arcprize.org) + François 原作者: François Chollet (@fchollet) 与 ARC Prize Foundation 原文发表: 2025-03-24
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。