译者按: 本文是 Dario Amodei 于 2025-01-28 发表的《On DeepSeek and Export Controls》的中文校对翻译。原文出处: https://darioamodei.com/post/on-deepseek-and-export-controls。读原文时深受启发, 特将全文译出与中文读者分享, 感谢原作者的点醒与提携。译文仅供学习交流, 版权归原作者所有, 如有出入以原文为准。
作者: Dario Amodei, 2025 年 1 月
几周前, 我论证过美国应该对华实施更严格的芯片出口管制。之后, 中国 AI 公司 DeepSeek 至少在某些方面, 以更低的成本, 接近了美国前沿 AI 模型的性能。
这里我不打算讨论 DeepSeek 是否威胁到 Anthropic 这样的美国 AI 公司 (虽然我确实认为, 关于它威胁美国 AI 领导地位的很多说法被大大夸大了)。我要讨论的是: DeepSeek 的发布是否削弱了芯片出口管制政策的正当性。我认为没有。事实上, 我认为它们让出口管制政策比一周前更加生死攸关。
出口管制服务于一个重大目的: 让民主国家保持在 AI 发展的最前沿。要说清楚, 管制不是逃避中美竞争的办法。最终, 如果想赢, 美国和其他民主国家的 AI 公司必须造出比中国更好的模型。但是, 在没必要的情况下, 我们不该把技术优势拱手送给中国共产党。
AI 发展的三个动力学
在展开政策论证之前, 我先描述三个理解 AI 系统的基础动力学:
第一, scaling laws (规模定律)。 AI 的一个特性 (我和联合创始人们在 OpenAI 工作时是最早记录这一特性的人之一) 是: 其他条件相同, 扩大训练规模会让 AI 在一系列认知任务上的表现全面, 平滑地提升。比如, 100 万美元的模型能解决 20% 的重要编程任务, 1000 万美元的能解决 40%, 1 亿美元的能解决 60%, 以此类推。这些差距在实践中影响巨大, 再乘 10 倍可能对应本科生与博士生的技能差距, 所以各家公司都在重金投入训练。
第二, 曲线移动 (shifting the curve)。 这个领域不断涌现大大小小的新想法, 让训练更有效或更高效: 可能是模型架构的改进 (对今天所有模型都在用的 Transformer 架构做调整), 也可能只是让模型在底层硬件上跑得更高效的办法。新一代硬件也有同样的效果。这些改进通常会移动整条曲线: 如果某项创新是一个 2 倍的"算力乘数" (CM), 那么原本花 1000 万美元才能在编程任务上拿到 40%, 现在花 500 万就够了; 原本 1 亿美元拿 60%, 现在 5000 万, 以此类推。每家前沿 AI 公司都会定期发现许多这样的 CM: 常见的是小改进 (约 1.2 倍), 有时是中等的 (约 2 倍), 偶尔有非常大的 (约 10 倍)。因为拥有更聪明系统的价值太高了, 这种曲线移动通常导致公司在训练上花更多而非更少的钱: 成本效率的收益, 全部被投入到训练更聪明的模型上, 上限只取决于公司的财力。人们天然容易被"先贵后便宜"的想法吸引, 仿佛 AI 是一个质量恒定的单一物件, 便宜了我们就会用更少的芯片去训练它。但关键在于 scaling 曲线: 曲线移动时, 我们只是更快地沿着它前进, 因为曲线尽头的东西价值太高了。2020 年, 我的团队发表过一篇论文, 指出算法进步带来的曲线移动约为每年 1.68 倍。这个速度之后可能明显加快了, 而且它还没算硬件和效率因素。我猜今天的数字也许是每年约 4 倍。训练曲线的移动也会带动推理曲线移动, 所以多年以来, 在模型质量不变的前提下, 价格一直在大幅下降。比如, 比初代 GPT-4 晚发布 15 个月的 Claude 3.5 Sonnet, 在几乎所有基准上都超过 GPT-4, 而 API 价格低了大约 10 倍。
第三, 范式转换 (shifting the paradigm)。 每隔一段时间, 被规模化的底层对象会发生变化, 或者训练过程会加入一种新的规模化方式。2020 到 2023 年, 被规模化的主要是预训练模型: 在越来越多的互联网文本上训练, 顶上加一点其他训练。2024 年, 用强化学习 (RL) 训练模型生成思维链, 成了新的规模化重心。Anthropic, DeepSeek 和很多公司 (最引人注目的也许是 9 月发布 o1-preview 的 OpenAI) 都发现, 这种训练能大幅提升某些客观可测任务的表现, 比如数学, 编程竞赛, 以及类似的推理任务。新范式的做法是: 从普通预训练模型出发, 在第二阶段用 RL 加上推理能力。关键在于, 由于这类 RL 还很新, 所有玩家在 RL 第二阶段上的投入都还很小, 我们都还在 scaling 曲线的极早期。从 10 万美元加到 100 万美元, 就能拿到巨大收益。各家公司正在飞速把第二阶段的投入扩大到数亿, 数十亿美元。必须理解: 我们正处在一个独特的"交叉点"上, 一个强大的新范式恰好处在 scaling 曲线的起步段, 所以短期内能快速拿到大幅收益。
DeepSeek 的模型
上面三个动力学可以帮我们理解 DeepSeek 最近的发布。大约一个月前, DeepSeek 发布了 “DeepSeek-V3”, 一个纯预训练模型 (上文第三点里说的第一阶段)。上周, 他们发布了 “R1”, 加上了第二阶段。从外部无法确定这些模型的全部细节, 但以下是我对这两次发布的最佳理解。
DeepSeek-V3 才是真正的创新, 一个月前就该让人们警觉 (我们当时确实警觉了)。作为预训练模型, 它在一些重要任务上似乎接近美国最先进模型的性能, 而训练成本低得多 (不过我们发现, Claude 3.5 Sonnet 在真实世界编程等关键任务上仍然明显更好)。DeepSeek 团队靠一些真实而出色的创新做到了这一点, 主要集中在工程效率上, 尤其在 “Key-Value 缓存"的管理上有特别有创意的改进, 并且把"专家混合” (mixture of experts) 方法推进到了超越以往的程度。
但需要看得更仔细:
DeepSeek 并没有"用 600 万美元做到美国 AI 公司花几十亿才能做到的事"。我只能替 Anthropic 说话: Claude 3.5 Sonnet 是一个中型模型, 训练成本是几千万美元级 (我不会给确切数字)。而且, 3.5 Sonnet 的训练完全没有借助任何更大或更贵的模型 (与一些传言相反)。Sonnet 的训练在 9 到 12 个月前进行, DeepSeek 的模型在去年 11, 12 月训练, 而 Sonnet 在很多内部和外部评测中仍然明显领先。所以我认为公平的说法是: “DeepSeek 以低得多的成本 (但远远不是人们所说的那种比例), 造出了接近 7 到 10 个月前美国模型性能的模型。”
如果成本曲线的历史下降趋势是每年约 4 倍, 那意味着在正常的商业进程里, 也就是 2023 和 2024 年那种正常的成本下降趋势里, 我们本来就该在现在这个时点看到一个比 3.5 Sonnet/GPT-4o 便宜 3 到 4 倍的模型。而 DeepSeek-V3 比那些美国前沿模型差一些, 假设在 scaling 曲线上差约 2 倍 (我认为这对 DeepSeek-V3 已经相当慷慨), 那么, 如果 DeepSeek-V3 的训练成本比一年前开发的美国当前模型低约 8 倍, 那是完全正常, 完全"在趋势线上"的事。我不打算给数字, 但从前一条要点可以看出, 即使按面值接受 DeepSeek 的训练成本, 他们最多也就是在趋势线上, 甚至可能还够不着。比如, 这比初代 GPT-4 到 Claude 3.5 Sonnet 的推理价格差 (10 倍) 还平缓, 而 3.5 Sonnet 是比 GPT-4 更好的模型。这些都说明, DeepSeek-V3 并非独一无二的突破, 也没有从根本上改变大模型的经济学; 它是持续成本下降曲线上一个符合预期的点。这次的不同之处在于, 第一个演示出预期成本下降的公司是中国公司。这在历史上从未发生过, 地缘政治意义重大。不过美国公司很快也会跟上, 而且它们不是靠抄 DeepSeek, 是因为它们自己也在实现常规的成本下降趋势。
DeepSeek 和美国 AI 公司一样, 手里的钱和芯片都比训练头牌模型时用掉的多得多。多出来的芯片用于研发模型背后的思路, 有时也用于训练尚未就绪 (或者需要不止一次尝试) 的更大模型。有报道称 (我们无法确认真假) DeepSeek 实际拥有 5 万块 Hopper 代芯片, 我猜这与美国主要 AI 公司的持有量差距在 2 到 3 倍以内 (比如, 比 xAI 的 “Colossus” 集群少 2 到 3 倍)。这 5 万块 Hopper 芯片的成本在 10 亿美元量级。所以, DeepSeek 作为一家公司的总投入 (区别于训练单个模型的开销) 与美国 AI 实验室相比并没有天壤之别。
值得一提的是, “scaling 曲线"分析其实有点过度简化, 因为模型之间有差异化, 各有长短; 曲线数字是忽略大量细节的粗糙平均。我只能谈 Anthropic 的模型, 但正如前面暗示的, Claude 在编程和与人交互的风格设计上极其出色 (很多人拿它做个人咨询甚至情感支持)。在这些以及另外一些任务上, DeepSeek 根本没法比。这些优势不会体现在 scaling 数字里。
R1 是上周发布并引爆公众关注 (包括 Nvidia 股价下跌约 17%) 的那个模型, 但从创新或工程角度看, 它远不如 V3 有意思。它加上了第二阶段训练, 也就是前一节说的强化学习, 本质上复现了 OpenAI 在 o1 上做的事 (规模和结果看起来都相近)。不过, 因为我们还处在 scaling 曲线的早期, 只要从一个强预训练模型出发, 好几家公司都造得出这类模型。在 V3 的基础上造 R1, 成本可能非常低。所以我们正处在一个有趣的"交叉点"上: 暂时性地, 好几家公司都能做出不错的推理模型。但随着所有人继续沿这类模型的 scaling 曲线往上爬, 这种局面会迅速消失。
出口管制
以上这些都是铺垫, 我真正想谈的是对华芯片出口管制。基于上述事实, 我这样看局势:
有一个持续的趋势: 各家公司在训练强大 AI 模型上投入越来越多, 哪怕曲线周期性地移动, 某一智能水平的训练成本快速下降。原因很简单, 训练更聪明模型的经济价值太大了, 任何成本红利几乎立刻被吃掉, 被投回到用原计划的巨额预算造更聪明的模型上。DeepSeek 研发的那些效率创新, 美国实验室没发现的部分, 很快就会被中美两边的实验室应用到训练数十亿美元级的模型上。这些模型会比原本计划训练的数十亿美元模型表现更好, 但花费仍然是数十亿美元。这个数字会持续上升, 直到我们造出在几乎所有事情上都比几乎所有人类更聪明的 AI。
造出在几乎所有事情上都比几乎所有人聪明的 AI, 需要数百万块芯片, 至少数百亿美元, 最可能发生在 2026 到 2027 年。DeepSeek 的发布不改变这个判断, 因为它们大体就在一直以来被计入这些测算的成本下降曲线上。
这意味着, 2026 到 2027 年, 我们可能落入两个截然不同的世界之一。在美国, 多家公司肯定会拥有所需的数百万块芯片 (代价是数百亿美元)。问题是中国能否也拿到数百万块。
如果能, 我们会活在一个两极世界里: 中美都拥有强大的 AI 模型, 科学技术以极快的速度进步, 也就是我所说的"数据中心里的天才之国”。两极世界未必会无限期保持平衡。即使中美在 AI 系统上打平, 中国也很可能把更多人才, 资本和精力投向技术的军事应用。再加上庞大的工业基础和军事战略上的优势, 这可能帮助中国在全球舞台上取得压倒性地位, 不只在 AI 领域, 而是在所有领域。
如果中国拿不到数百万块芯片, 我们会 (至少暂时) 活在一个单极世界里: 只有美国及其盟友拥有这些模型。单极世界能否持续并不确定, 但至少存在这样一种可能: 因为 AI 系统最终能帮助造出更聪明的 AI 系统, 暂时的领先可以被转化为持久的优势。在这个世界里, 美国及其盟友可能在全球舞台上取得压倒性的, 长期的领先。
严格执行的出口管制, 是唯一能阻止中国获得数百万块芯片的东西, 因此也是决定我们最终走向单极世界还是两极世界的最重要变量。
DeepSeek 的表现不代表出口管制失败了。如前所述, DeepSeek 拥有中等偏大规模的芯片, 所以他们能开发并训练出强大的模型不足为奇。他们受到的资源约束并不比美国 AI 公司严重多少, 出口管制也不是促使他们"创新"的主要原因。他们就是非常优秀的工程师, 以及一个证明: 中国是美国的一个严肃对手。
DeepSeek 也不能说明中国总能靠走私拿到所需芯片, 或者管制永远有漏洞。我不认为出口管制的设计目标是阻止中国拿到几万块芯片。10 亿美元的经济活动藏得住, 1000 亿甚至 100 亿都很难藏。一百万块芯片在物理上也难以走私。看看目前报道中 DeepSeek 拥有的芯片构成也很有启发。据 SemiAnalysis, 那是 H100, H800 和 H20 的混合, 共约 5 万块。H100 自发布起就被出口管制禁售, 所以如果 DeepSeek 有, 那一定是走私来的 (注意 Nvidia 声明过 DeepSeek 的进展"完全符合出口管制"); H800 在 2022 年第一轮管制下是允许的, 2023 年 10 月管制更新时被禁, 所以大概率是禁令前发货的; H20 训练效率较低, 采样效率较高, 目前仍被允许, 虽然我认为它也应该被禁。综上, DeepSeek 的 AI 芯片船队相当一部分似乎由这几类构成: 尚未被禁但应该被禁的芯片; 被禁之前发货的芯片; 以及一些很可能是走私来的芯片。这恰恰说明出口管制在起作用, 在迭代: 漏洞正在被补上; 否则, 他们的船队会是清一色的顶级 H100。如果我们能足够快地堵住漏洞, 就可能阻止中国拿到数百万块芯片, 增大美国领先的单极世界的可能性。
考虑到我一直在谈出口管制和美国国家安全, 我想把一件事说清楚。我不把 DeepSeek 本身视为敌人, 重点也不是针对他们这家公司。从他们的访谈看, 他们像一群聪明, 有好奇心的研究者, 只是想做出有用的技术。
但他们受制于一个威权政府, 这个政府有过侵犯人权的记录, 在世界舞台上行为强势, 而如果它在 AI 上追平美国, 这些行为会变得远为肆无忌惮。出口管制是我们阻止这件事的最有力工具之一。有人说, 技术越来越强, 性价比越来越高, 所以应该解除出口管制。这个逻辑完全讲不通。
附: 重要脚注要点
- 关于蒸馏传闻: 本文不对"DeepSeek 从西方模型蒸馏"的报道采取任何立场, 仅按其论文所述的训练方式讨论。
- 关于 Nvidia: Amodei 认为 DeepSeek 的发布显然对 Nvidia 不是坏事, 股价跌约 17% 令人费解; 但本文的主要目的是为出口管制辩护。
- 关于 600 万美元: 这是 DeepSeek 论文自报的数字, 本文按面值接受; 但要区分"训练某个模型的成本" (600 万) 与"整体研发成本" (高得多)。模型大小可验证, token 数量等其他方面无法验证。
- 关于"5 万块 H100"口误更正: Amodei 此前在访谈中说 DeepSeek 有"5 万块 H100", 是对报道的不精确转述; Hopper 代包括 H100, H800, H20, DeepSeek 拥有的是三者混合, 共约 5 万块。
- 关于 R1 为何刷屏: 他猜测 R1 获得巨大关注的主因之一是它第一个向用户展示了模型的思维链推理过程 (o1 只显示最终答案)。这是交互设计的选择, 与模型本身无关。
- 关于中国国产芯片: 引用他与 Matt Pottinger 的联合评论文章: 华为昇腾系列明显弱于 Nvidia 顶级芯片, 且产能可能跟不上需求, 目前中国以外没有任何一个值得一提的昇腾集群。
- 关于目标的澄清: 目的不是不让中国或任何威权国家享受强大 AI 带来的科学, 医疗, 生活质量收益, 所有人都应该从 AI 受益; 目的是阻止他们取得军事主导权。
原文出处: On DeepSeek and Export Controls 原作者: Dario Amodei 原文发表: 2025-01-28
本文收录于「X深度阅读」栏目: 精选全球 X/Twitter 与博客上最值得精读的 AI 长文, 逐篇校对翻译成中文。