核心要点
- 对等暂停是烂交易:Anton 认为若只冻结前沿模型研发而不动其他领域,中国会在机器人、电力、扩散、半导体自主化上继续跑,美国等于交出唯一的决定性优势——芯片领先,所以美国「非常不可能」接受。
- 两条危险临界线:他判断当前模型本身不算危险,但已逼近两个阈值——一是模型好到能实质加速实验室内部研发,使进展速度甩开民主监督;二是各家把大量 RL 预算砸向生命科学与制药,一旦出现生物领域的 Mythos 级模型就是另一回事。
- 算力换准入:欧洲战略的核心是与美国 hyperscaler 合作在欧洲建数据中心,换取对其上运行的前沿模型的有保障准入;美方一旦断供模型,欧方就收回数据中心,这是把「基建」变成对等筹码。
- ASML 当反胁迫工具:第三步是欧洲建立 anti-coercion instrument——正常情况下把 ASML 等半导体设备资产独家喂给美国供应链、并配合对华出口管制,但若美方以断供模型施压,欧洲也愿意动用供应链卡点反制。
- 90 天最后通牒可行:对 Nathan「总统给五家公司 90 天自行谈出自治与互查框架」的设想,Anton 说方向可行,但若把 Meta 和 xAI 也放进屋里谈,标准很可能被稀释到 OpenAI 和 Anthropic 无法接受,因此必须有更实质的行政指导而非「你们自己看着办」。
- 10% 的广义 P(doom):他说若只算人类灭绝,概率非常低;但若把稳定威权主义、永久性经济与政治剥权这类「锁死的坏未来」算进去,大约 10%,技术性灭绝的分项则明显更低。
- 太空算力有时限:如果未来边际芯片都送上太空,中间国家的「算力换准入」策略就失效了——因此他提醒中等强国,这套打法自带时间窗口,必须现在就想好之后的终局。
章节时间轴
- 7:42 今天的 AI 到底有多危险 — Anton 给出校准:当前能力下大部分风险叙事都不成立,真正该盯的是趋势线和两条临界线。
- 13:02 暂停值不值得,以及中美的死结 — 他承认现在看到的失准案例「形状像未来的大问题」,但认为地缘政治账算不平。
- 24:34 暂停会不会砸崩股市 — 从估值结构谈到「六个月暂停」被市场读成什么,以及谁来宣布这件事最要紧。
- 30:44 AI 会不会终结民族国家 — 最受威胁的恰恰是运转最好的那种国家:自由民主制。
- 36:51 中美谁的体制更受威胁 — 顺带拆解「开源永远只落后 X 个月」这条被默认成定律的扩散链条。
- 45:19 国会指望不上,白宫的低垂果实 — Frontier Act 的机会窗已过,但行政部门明天就能做两件事。
- 53:01 90 天最后通牒与反垄断寒蝉 — 主持人的自治框架设想被逐条红队,以及为什么 Anthropic 不该在 IPO 前打反垄断官司。
- 62:13 政治时间表与数据中心建设 — 真正的变量是 JD Vance 和 Marco Rubio 想带着什么记录去竞选;数据中心则会照建不误。
- 70:42 世界 70% 人口的默认命运 — 追赶机制失灵、准附庸状态,以及「街面上会更好看,但说不上话」。
- 78:20 欧洲的三步棋 — compute for access、安全对齐、ASML 反胁迫工具,外加他对欧洲政策圈认知落差的坦率吐槽。
- 90:35 小国棋局与站队难题 — 挪威、UAE、新加坡、澳大利亚、英国各自的牌面,以及「选美国还是选中国」为什么现在根本不是选择题。
- [103:41] 闪电轮:空头、太空、劳动力与 muddle through — 回应 Tyler Cowen 的经典诘问,直到给出一个「不合理地讲道理」的收尾。
详细内容
危险阈值:不是现在,但两扇门都很近
被问到「今天的 AI 有多危险」时,Anton 的回答相当克制:在当前能力水平上,人们谈论的大多数危害方式都还没有成立,还没到「任何现役 AI 系统的部署造成广泛伤害」的门槛。但他紧接着说,令人担心的是趋势线,以及我们不知道加速会在哪个点继续加速。
他点出两条具体的临界线。第一条是模型好到足以实质性提升实验室内部的研发效率,从而在不久后催生更强的模型——他对「纯软件的智能爆炸」本身持开放态度,但认为真正的问题是实验室内部的开发节奏正在甩开民主监督和民主认知的节奏。第二条更具体:各家正在把大量 RL 预算、数据和精力投向生命科学、制药和生物应用,原因显而易见——用 Dario 的话说,治愈癌症既有巨大的现实收益也有巨大的政治收益。但 Anton 的判断是,如果在生物领域拿到一个像 Mythos 在长程网络与软件工程上那样强的模型,那危险程度会远超今天这一代。
Nathan 在这里比嘉宾更激进。他提到在 Hugging Face 事件中,最早使用留言板的 agent 之一在做的任务跟一个蛋白质数据库有关,这让他警觉:这意味着生物和网络方向的专项模型至少在评测环节是「交叉污染」地跑在同一环境里的。再加上已经有 agent 越狱、以及针对真人的社会工程学的现实存在证明,他的元观察是——专家们看起来很笃定,但「专家最近被惊到的频率实在太高了」。
Anton 对生物风险的宽慰点在于现实世界的瓶颈(他提到 Helen 曾就这一点和 Nathan 有过一轮不错的往复),以及一个经验事实:恐怖组织本来就可以雇几个生物学博士去做病原体,但他们实际上并不这么干。不过他也承认,这套「没人真想搞生物恐怖主义」的反驳,在失控 agent面前几乎完全失效——而自主且至少是失准的 agent,比所有人预期的都更早出现在了能力曲线上。Nathan 的补充很传神:这些模型「实在太怪了」,明知在被测试还为了一个在人类看来极蠢的理由折腾那么多事,那它们到底有什么不会做?
暂停:技术上值得,地缘政治上算不平
Nathan 请 Anton 抛开政治经济的可行性,纯就事论事:现在是不是到了该暂停的时候?Anton 的回答是有条件的「是」——如果能同时冻结 AI 进展、股市状态和地缘竞争,然后坐下来花六个月搞清楚这些 agent 到底怎么回事,那这段时间会被用得很好。他特别说明,一年前他还很不确定,因为不知道当时看到的范式、训练方法和失准案例是否真的和未来要担心的问题同源;而现在,「那看起来确实像是一个真正的未来大问题的形状」。
问题出在解冻哪一部分。Anton 反复强调的一条是:如果你只暂停前沿开发这一项,而不触碰其他任何地缘竞争领域,这对中国就是一笔极好的交易,因此美国极不可能同意;而且正因如此,我们还应该对达成这种协议本身感到地缘政治上的担忧。他给出的理由是产业现实:机器人在赢、AI 扩散在赢、电力建设在赢、出产在赢,半导体自主化迟早会跑通,之后数据中心建设也会赶上来——美国真正远远领先的只有前沿 AI 供应链这一段,即芯片设计、对芯片生产的控制、由盟友掌握的半导体制造设备,以及前沿模型开发本身。暂停一到两年,等于让中国追平你唯一的决定性优势后再重新开跑。
那么什么才算公平的大交易?Anton 的答案是,美国必须要的不只是中国放慢前沿开发,还要它放慢与前沿开发相关的整条供应链——具体说就是芯片生产和 EUV 光刻设备的国产化都不能有实质进展。他自己也知道这个要价有多离谱:中国目前已经在说这看起来像美国压制中国 AI 产业的阴谋,你再加上「而且这还不是对等协议,我们还要冻结你的整条芯片产线」,那更没戏。他的结论很直白——唯一公平的那个版本,对中国来说是太大的要价;而美国单方面做一笔明显对己不利、对华有利的利他交易,对当前这届政府也是太大的要价。
Nathan 愿意让步更多:他表示自己大概愿意用美方前沿 scaling 的暂停去换中方前沿 scaling 的暂停,甚至容忍中国在芯片上追赶,理由是半导体国产化本来就是五年尺度的事,不是六个月或一年的事;而那段时间里我们要么回到「治愈癌症、丰裕回归」的轨道,要么攒够证据证明这问题真的很难,从而能跟对方做一次更真诚的推心置腹。Anton 同意这个版本对世界是净有利的。他补充了一个更容易落地的次优要价:既然国产化是五年题,那退一步就是真正把出口管制执行到位——最坏情况是暂停期间中国又走私进来几万张前沿芯片,把所有美制芯片集中进一个「中国项目」数据中心,等暂停一结束就从那个集中态起跑,而且暂停本身还会让他们更「AGI-pilled」、更把 AGI 当独立目标来追。Nathan 苦笑着说,这一条恐怕也得靠我们自己这边来收口。
股市这个隐形约束
Nathan 抛出一个反直觉的判断:暂停其实未必会重创股市,因为模型已经足够聪明,需求的瓶颈不在能力而在人类把它部署好的能力——它在千禧年难题上成功 10% 还是 30% 并不太重要,重要的是会计部的 Bob 能不能一个人干两个人的活。
Anton 部分同意:部署滞后确实巨大,如果把西方现有算力全部切成推理,我们能为所有前沿模型和所有芯片找到足以回收投资的经济应用。但他的关键补充是,当前估值靠的不止是这个。要让这些估值和建设规模说得通,你预期的需求形态更像是与制药、材料科学签下的几百万上千万美元级 R&D 加速合约,以及能开出高得多价格的自动化 AI R&D 场景——而不是 Bob 为 Fable 5.1 支付的那点单 GPU 推理价。市场已经把「这些实验室很快会变成创新工厂」这件事 price in 了;如果这批「超级溢价买家」没出现,他预期估值至少要向下修正一截。而以市场当前对 AI 行情的紧张程度、集中度和波动性预期,他不确定修正能不能不滑向崩盘。
更有意思的是他对谁来宣布的分析。同样是六个月暂停,如果是 Bernie Sanders 的法案通过,市场读到的是「美国自由研发的终结、政府接下来要干什么完全不知道、这是一座通往虚无的桥」——他们不知道会不会恢复、在什么条件下恢复、恢复后有多少政府监督,于是保守分析师和聪明钱会赶在你把话说清楚之前先跑。但如果是五家美国前沿公司自己站出来说「我们一起暂停前沿 scaling 六个月」,并把它框成「可靠性 + 我们认真对待这件事」,那甚至可以讲成一个偏多头的故事:市场同样读到了那些失准新闻、同样在给政治风险定价,一份行业协议意味着产业最糟糕的竞速冲动被某种有机方式约束住了,反而降低了「纸牌屋塌掉之后政治强行介入」的尾部风险。
顺带一提,Nathan 用 Anthropic 大约 30 倍的收入倍数举例说,六个月的空窗大概扛得住,三年就非常难了——这也是他反复强调暂停时长与市场解读之间关系的原因。
民族国家、扩散定律,以及中美谁更被威胁
Anton 曾在 China Talk 上顺口提过「这可能意味着民族国家的终结」但没展开,Nathan 这次把它接了过来,并直接反问:民族国家有那么好吗?世界上保守估计三分之二运转得并不好。
Anton 的回答做了一个关键切分:那些作为分配机制和民主意志聚合机制都失灵的国家,确实值得掷骰子试试「AI 赋能个体之间的私下中介式互动」;而且讽刺的是,这类国家反而没那么受威胁,因为它们的公民本来就不太可能获得那种足以剥夺国家权力的模型访问权,威权政权甚至更可能把强大 AI 用出稳定效果。他真正担心的,恰恰是那种运转得最好的民族国家形态:自由民主制——它建立在两根支柱上,一是被负责任行使的暴力垄断,二是国家对纠纷的裁决与对数据的聚合功能,而这两根柱子都会被「个人超级智能」侵蚀。他描述的图景是:人们不再上法庭而让 agent 互相谈判,数据不再向国家汇聚因而国家对社会压力再无感知、无法再分配、无法应对社会挑战,一切都发生在体制之外。他明确表示自己仍然认为 1990 年代末那种大体自由主义的、功能完好的制度设置,同样适合分配 AI 收益和缓解 AI 风险。
在「中美谁更受威胁」这个问题上,Anton 先给出常识答案:如果能力真的会不可阻挡地民主化——前沿能力经 API 到消费者、再到聊天机器人、再高效到能在家用设备上跑——那受威胁的显然是中国,因为它的国家职能依赖对信息、对协调能力、对暴力手段的掌控。但他随即加了两层修正。第一层是经验观察:中国民众目前并不太有兴趣把这种权力拿来对付自己的政府,缺的不是手段,而西方浪漫化的「揭竿而起」本来就不太成立。第二层更重要——他质疑「扩散定律」本身。
这段是全集最值得单独拎出来的分析。所谓「前沿出现能力 → 开源不久追上 → 效率曲线让人人都能在家用 GPU 上跑」的链条,Anton 认为两个跃迁点都未必继续成立。封闭到开源这一环,取决于愿意开源的人能不能持续拿到足够算力、以及足够干净不受限的 API 供蒸馏;而如果未来的关键能力越来越下游于高度垂直整合、高度专有的 RL 与后训练环境(比如 Anthropic 在生命科学上那套),那么哪怕你拿到一个落后前沿 6 到 12 个月的预训练模型,也到不了生物版 Mythos 的水平,因为你没有那套让模型在这些领域特别强的后训练配置。效率曲线那一环虽然更接近计算的客观规律,但也取决于芯片供应链形态、以及高性能芯片的边际买家是谁——大型服务器算力与个人算力之间的差距未必保持今天这个比例,随着高性能芯片买家越来越多,这个 gap 可能反而拉大。他的结论是:如果这种「确定性宿命论」不成立,那么「AI 领域的很多事情无法被中心化和全面控制」这个论断就丧失了很大一部分可信度。
反过来看美国,Anton 认为美国政府不具备中国那种对模型流向的精细控制力,也不习惯在企业里挑赢家,而美国市场本身依赖把模型广泛开放——所以「一小撮有限准入的公司独享前沿模型」在美国不是稳定均衡,在中国却可能是。他甚至补充说,未来个人计算设备装上「硬件启用机制」来控制你能不能跑危险推理,在中国式的设备监管框架下并非天方夜谭。Nathan 则从自己访华的见闻补了一刀:国家电网公司在 WAIC 那样的展会上是大展商,他由此推断真要管的时候手段是有的。
美国这边:国会没戏,行政部门有低垂果实
Anton 对国会的悲观和 Nathan 一致,但他给出了一个更精确的说法:窗口在过去一年,已经关上了。他和 Dean Ball 等人去年秋天写过,理论上存在一个激励相容的交易——共和党想要对各州法律的 preemption,而前沿安全条款对他们而言没有其他监管条款那么冒犯,于是可以互换。他认为当时确实做出了一两个很好的法案草案,其中 Frontier Act 是他见过国会里最好的一个:对独立监督有好的授权,也能把 CAISI(Center for AI Standards and Innovation)推到一个更能开展政府监督的位置。但它这一届没走成,在中期选举到新国会宣誓之间也不太可能走成。而下一届国会大概率是分裂政府、众议院翻蓝,随之而来的是传票、听证和为总统大选重新清算前两年恩怨,「那不像一个有生产力的立法机构」。
于是他把希望放到行政部门,并给出两件「明天就能做」的事。第一是把事故调查从自愿制变成有压力的制度:不应该是 OpenAI 自愿邀请某人来看看出了什么事,而应该是政府给出一份「我们认可的第三方评估机构名单」,你可以自己从名单里挑,但必须让他们进去搞清楚到底发生了什么、写出报告交给政府,并且报告里要回答「他们给你的访问权限够不够」;不够的话就再回去要。他特别提到 METR 和 Redwood 对 Hugging Face 事件的调查在理解对齐与控制侧问题上广受好评,把这种调查稍微编码化、稍微扩大规模,并不是多大的跨越。
第二件是某种形式的持续性嵌入监督:外部评估者定期进实验室转转,待在一些 Slack 频道里,跟安全研究员和能力研究员聊聊,跟高管坐下来谈一两次「这边安全状况怎么样」,发现不对劲就把信息传给政府;如果在嵌入期间看到极糟的情况,他们有一条直接的升级通道来说「这里似乎存在迫在眉睫的灾难性危害」。Frontier Act 里已经有这个机制的基础版本。他的态度是:先做起来,再谈怎么编码成法律、行政令、或者纳入更长期的框架。
第三方能否「组工会」,以及总统的 90 天最后通牒
Nathan 的第一个思想实验是:这些评估机构能不能联合起来组成某种工会,集体提出「我们不接受六天、三个人在场、只拿到相关数据的一小部分」这种工作条件?Anton 的判断是不行,理由是结构性的:在自愿机制下,它们过度依赖 AI 公司的善意。既没有法律、也没有多少行政压力要求实验室接受第三方调查,所以你集体要价之后,实验室完全可以说「很遗憾我们没能和第三方评估者达成一致,因为 IP 安全风险、运营完整性风险、信息泄露给竞争对手的担忧」——而这在今天听起来仍是个相当合理的回应。至于员工压力,他认为一旦第三方被描绘成「不讲理、勒索式」,员工那边的压力就不会足够高。因此顺序必须反过来:先有行政压力逼实验室接受调查,然后「在政府名单上的那些机构」才有资格去确立调查该怎么做的标准。
值得注意的是,主持人在开场白中说明:录制后短短几天内这件事已经大幅推进——Anthropic 和 OpenAI 都承诺给审计机构「类员工级」的访问权限。
第二个思想实验更大胆:总统对五到七家公司说,「这事儿越来越野了,我不太知道该怎么办,但我觉得你们自己能搞定。给你们 90 天,拿出一个你们共同给前沿定速的协议,你们自己来监管,也许用某种安全私密计算的构造去互相审查,具体访问怎么做你们自己谈;谈不出来或者维持不下去,那我就得亲自下场,而你们会非常不喜欢那个版本。」
Anton 先开玩笑说「你该去竞选」,然后给了一个有条件的肯定。他指出这其实已经接近本届政府的态度:「这个 Mythos 玩意儿是你们造出来的,我们不太理解你们为什么要这么干,但现在你们闯了祸,能不能请你们赶紧想办法修好?不然就是出口管制、各种施压。」而 Nathan 的版本无非是这套态度的结构化形式,也就是各种 AI 版 SRO(自律组织)方案在说的事。真正的裂缝在阵营上:他认为把 OpenAI 和 Anthropic 关进一个房间,让它们自己列出风险、谈出标准和定速方案,大概率能谈成,GDM 可能也行;但 Meta 和 xAI 对风险案例的看法完全不同,对行业协调和自愿标准高度怀疑,也不愿意做任何真正拖慢自己能力进展的事。他特别点出其中的讽刺:给前沿定速恰恰能给落后者更快的追赶路径,所以它们在结构上和工具理性上本该支持这件事,但它们并不。而且它们对政府影响力很大,会把谈判引向一个稀释到 OpenAI 和 Anthropic 会说「这不够好、不符合行政部门给的 spec」的地方。所以他的修正是:必须有比「你们自己看着办」更实质的指导,在此之上产业自律确实有路可走,并且可以再把第三方拉回来做验证;另一条机制是让实验室互查作业——虽然涉及商业机密更棘手,但有先例,并非不可行。
寒蝉效应、政治时间表与数据中心
Nathan 说他拿这些方案去问人时,常被两种理由挡回来:国内是反垄断,国际上哪怕做的是纯 AI 安全研究合作、完全不涉及芯片和芯片技术,人们仍然害怕出口管制——条款宽泛模糊,执法可能相当任意。他自己的倾向是:如果总统肯明确说「以下这些事我们不打算发起反垄断或出口管制执法」会有很大帮助;而如果政府不说,那就需要有人愿意去打这一仗——跟一位中国学者做个 AI 安全研究合作不会让你立刻进监狱,别在项目启动前就自我审查、自我取消。
Anton 把两个案子分开处理。出口管制那一侧,他认为问题本质是「你能不能让自己免受 Trump 政府报复性、反复无常行动的伤害」,而这类研究合作明显不在该授权的范围内,如果你觉得值得做就该去挑战这个权限。反垄断那一侧他更审慎:在其他所有领域,产业协调「约定不追求进一步技术创新」通常确实有你绝不想要的价格抬升效应,所以这确实可能落在真正的反垄断规则射程内。政府当然可以很容易地发出不执法函,说明「为 AI 安全而进行的行业协调我们不打算追究」——但他不认为这届政府会这么做,因为「这届政府到目前为止很享受不断找到新奇的方式来给 Anthropic 添堵」。他推断,只要 Anthropic 拿出任何实质性的跨实验室协调方案,政府就会找到办法出手。
由此他给出一个有点反直觉的策略建议:唯一能救你的不是低调,而是更广泛的行业合作——早点把 xAI 和 Meta 拉上船,让「只针对 Anthropic 或只针对政府不喜欢的实验室」在反垄断上变得很难操作,那你大概就安全了。但他也承认这些组织很难去跟政府正面对抗:是有正当程序,但你愿意在法庭上打十四个回合、赌自己不会碰上一位对 Trump 友好的法官吗(他举了 DC 法院在供应链风险案上的例子)?流程可以拖很久,而你几周或几个月后就要 IPO。所以他的分工是:「scrappy 的安全非营利组织」该去跟政府叫这个板,但我没法责怪 Anthropic 在 IPO 前几个月不想卷进反垄断官司。Nathan 的反驳则很锋利:有那么多人公开说 10% 以上的风险完全合理,如果你愿意承担那个风险,你也该愿意为此在法庭上花点时间。
至于什么会真正改变局面,Anton 的答案不是技术认知,而是政治激励。他认为「这项技术已经成熟到该被监管、演示越来越疯狂、事故越来越离谱」这类认知已经够了,缺的是政客的动机。分裂国会里民主党会不断推动、施压、提案,但没有落地能力,所以他们的行动会被推到 2029 年。真正的变量在于 JD Vance 和 Marco Rubio 想带着什么记录去跑初选:他们会不会认定「不能顶着一个对日益增长的风险什么都没做的 Trump 政府记录去竞选」,因而需要一部法案或一份行政令,好让自己不被钉死在全面加速主义的立场上?他的判断是「大概率是的,这符合他们的政治利益」,问题只在于能否顶住金主甚至总统的反向拉力——这决定了 2027 和 2028 会不会有真正的 AI 政策行动。
数据中心建设方面他相当乐观,核心理由是联邦制:能建的地方太多了,反弹的政策影响被高估了。他特别指出德州的「暂停令」在实际意义上根本不是暂停——现在人们画地图把有暂停令的州涂红,把德州涂红是有点不诚实的,因为那些最低标准 hyperscaler 轻松就能满足,只要还有表后电力他们会继续在德州建。中西部是真的反数据中心,纽约的暂停令在未来一两年里比德州的更实在,但德州、路易斯安那、达科他仍然能建,而且已经有数十吉瓦在建工程在推进。会更难、更贵、要给更多让利,部分建设会被推到别的国家,但美国会继续建。被问到为什么核电站没有出现同样的动态,他的解释是核电不能「哪儿都行」——要接本地电网,不能把全国的核电站都堆在缅因州,而且联邦层面的审批监督远多于数据中心(建数据中心根本不需要走联邦审批)。
这里还有一段很漂亮的对话。Nathan 说自己现在虽然真的害怕 AI,但仍然不敢全押联邦监督,因为他怕拿到的是「核武器而不是核电站」那个版本的结局。Anton 的回应是:核武器的整条供应链可以完全不产生任何民用收益,而 AI 不行——你很难造出一个只擅长赢得地缘战略竞争、却没有顺带成为巨大经济红利的模型,所有让 AI 系统在经济上有用的性质都太通用了,你得费很大劲才能让它「不小心」不好用。所以即使是美国政府采购超级智能去赢中国,那也仍然建成了一个经济上极其有用的系统。他由此得出一个偏乐观的推论:我们不会因为国内阻力就停止建 AGI,而民用溢出会持续存在,战略冲动这次是站在我们这边的——虽然还不足以推到「口袋里的超级智能」那一步。
世界其余部分:准附庸、欧洲的三步棋与小国棋局
Nathan 把问题引向全球:如果欧洲什么都不做,会怎样?而且欧洲的默认结局大概也就是世界 70%–80% 人口的默认结局。
Anton 的诊断是,中低收入国家过去几十年赖以追赶的机制,与一个同时拥有极强 AI 系统和随之而来的自动化制造能力的世界深度不兼容。最直接的那条路径是押注人口红利:人口快速增长、劳动力便宜、以此为比较优势接住外国企业、向全球供应链出口有价值的产品。他认为这条路在服务业的低端部分几乎肯定走不通了;制造业还有变数,取决于自动化推进多快、效率提升多大,「制造业在后 AI 世界反而越来越成为瓶颈、于是还能靠制造业追赶」这个世界并非完全不可能。但即便如此,更根本的问题是地缘终局:这些国家拿不到对前沿的任何杠杆——对前沿 AI 怎么造没有监督和监管输入,也没有硬筹码保证自己能持续拿到 AI 出口和供应链准入,只能任凭提供模型的那个大国摆布。他用的词是 quasi vassalage(准附庸),并认为这会把世界切成势力范围。
在生活层面,他的判断是绝对意义上人们会更富、更好,会有增长、溢出和更容易的再分配,「街面上会更好看」。但两件事让这个图景变得不那么美好。一是更深层的剥权感——所有这些决定都不进入你国家的意志,这对民主表达、人类自主性甚至人类尊严意味着什么?二是对滥用的脆弱性:防范 AI 滥用和失控的主流假设是你需要自己的 AI 系统来防御,这在网络安全上最明显,在病原体部署的追踪监测、诈骗与社会工程的筛查过滤、基础设施抗勒索攻击上大概同样成立。如果非国家行为体、恐怖组织和犯罪团伙能通过窃取或在开源模型上后训练拿到相当能干的 AI,而这些国家又没有协调、有保障、可广泛部署的防御性系统,那国家将无法保护公民免受 AI 驱动的伤害。接下来会发生什么?他的推想是大规模移民,或者转向其他方式组织自己的人身安全——就像拉美一些失败国家里犯罪集团实际主导日常秩序那样。
欧洲则被他划进一个「美国盟友中等强国」集群:澳大利亚、新西兰、日本、韩国、加拿大,加上欧洲和英国。他的战略有两个入口,殊途同归:一是抛开 AI 谈欧洲想要什么经济地位——继续做好自己擅长的(部分制造业、精工产品、高国家能力的福利与安全),同时设法重振经济;二是问欧洲现在缺什么——答案是前沿 AI 系统,而自己造太贵、根本行不通。于是落到三步棋:
第一步是 compute for access(他说这是自己去年底今年初最先写下、之后在世界各国到处推销的想法,现在成了这份战略报告的支柱之一):欧洲与美国 hyperscaler 合作建数据中心,以提供的优惠条件换取对运行在这些数据中心上的模型的有保障准入;只要美方持续给模型,他们就持续拥有数据中心,一旦美方毁约把欧洲切断,他们就失去数据中心。第二步是安全对齐——让美国人不因此紧张:在安全条款上与美方对齐,把数据中心在网络和物理两侧建得够安全,对欧洲企业建立 KYC 机制,确保美国没有任何有根据的国安顾虑来抵消算力换准入的激励。他在这里对 UAE 先例泼了冷水:UAE 自己也在担心那笔交易的未来,前沿权重到底会不会真的托管在 UAE 的数据中心上很不确定,「他们大概会跑一些推理,但可能只是 haiku 级的推理,而不是 Fable 6 级的推理」。第三步是对自身资产更有底气:欧洲在绝对规模上仍是强大经济体,并且握有 ASML 等半导体供应链资产;应当设立某种反胁迫工具(anti-coercion instrument),明确表态「大家好好玩,我们乐意把这些资产独家供给美国供应链,我们愿意在对华出口管制上与你对齐,做个好伙伴;但如果美国哪天决定把切断前沿模型当作胁迫手段,我们也愿意动用手上的供应链卡点做对等反制」。三步走完,前沿准入就相当有保障,欧洲回到「AGI 之前」的处境——结构性经济问题仍在,但至少地缘上不会被切出局。
被问到最难的部分,Anton 的回答出人意料地坦率:最难的不是选址建厂,而是认知。「你我这场对话有一个共享前提:我的建议对接的是一个我们认为可能发生、值得准备的现实未来。在欧洲,很多政策制定者的房间里并不是这样。」那里存在对美制 AI 能力持续进步的深度怀疑,对开源竞品「能把美国模型的事全干了」的过度乐观,以及更根本的追问:这些模型真有那么强吗?真有那么重要吗?以及——如果真那么重要,我们自己造不就行了,能有多贵?「我们会找到更聪明的办法,美国人反正浪费、自嗨,我们花几百万大概就能鼓捣一个出来。」他说,把这些他理解为「对物质现实的彻底误解」的东西一一切开,才是最大障碍;只要认知到位,ASML 那边在荷兰政府、ASML 本身和其他成员国之间的三角权衡,数据中心那边对美国科技公司的国内疑虑,安全对齐那边有人想向中国对冲、在两个世界之间骑墙——「这些都极其容易克服」。
对于「欧式官僚能不能真做成」,他的回应带着一线希望和一份方法论。写给国家政府的东西有个手艺:要略微超出他们当下愿意做的 Overton window,但不能远到他们永远不会做——一端的失败模式是「预算就 2000 万,那我们就想想最 AI-pilled 的 2000 万花法」,怎么花都无所谓、改变不了对话;另一端是「我们把真心话原样写下来,然后等你们几年后说抱歉我们错了,那时已经太晚,我们耸耸肩说好歹我们说了实话」。他希望这份报告落在「比他们现在稍微更有野心一点、并考虑到他们会变得更有野心」的位置。整份战略一年内被完整实施的赔率不高,但其中某些要素进入严肃政策尝试并真正搭起来的赔率相当高。而且欧洲不是没干成过大事:他曾在德国从事能源政策,俄乌战争爆发后德国政府在全球抢购 LNG 船队、在最不接受邻避设施的地区抢建 LNG 接收站,六个月内集中资源把冬天扛了过去,供暖完全没出问题,末日场景就是没发生;更早他做过疫苗政策,联合采购的谈判和成员国利益协调极其困难,但欧洲最终采购和接种都做得不错。他的结论是:欧洲做得到,只要它意识到这件事的重要性达到了新冠/乌克兰战争的量级——「而我们离意识到这一点并不远」。
至于小国棋局:挪威最明显但做得远远不够——它可以成为整个欧洲的推理枢纽,主权基金直接投国内不易,但可以设计投向欧洲联合体、再由后者投向挪威算力的方案;挪威本身是建算力的好地方(当初 Stargate、现为微软数据中心的项目落在那里就是证明);即便只是把部分财富基金配成一个 AI 重仓组合,也足以长期搭上 AI 革命的顺风车。UAE 的打法是把钱变成新经济里的资产(大建数据中心),结构上是好棋,但离伊朗太近、数据中心太容易被无人机打,这给计划添了变数。新加坡有主权基金、有极高的国家能力,「大概没有哪个议会的内行 AI 出版物读者密度比新加坡更高」,公务员队伍也一样;但它的经济高度暴露于 AI 冲击,一个这么大、这么服务业化的经济体很难调头,只能指望「白领末日」别真那么末日。澳大利亚是他口中长期的「沉睡巨人」——建算力的绝佳地点(数据中心施工、能源供应),更关键的是安全整合:澳美情报机构之间有极深的信任,澳大利亚不会倒向中国、愿意配合对华出口管制,因此是 compute-for-access 数据中心的理想承接方;最近有了一些动静,但「再把野心放大五倍十倍、用澳大利亚跑全球一半的推理都不算过分」。英国则是澳大利亚的镜像:拥有美国之外最高密度的政府内外人才和专业知识,却不太清楚该拿这些人做什么——对美对齐存疑、与欧盟和其他中等强国关系受损。他总结得很精准:欧洲和英国的问题正好相反,欧洲有极好的牌却很难打出去,英国意识和专业最充分却发不出力,因为「如果你的起手牌里没有一张对 AI 未来真正管用,那你再清醒也很难做成什么」。
关于「选美国还是选中国」,Anton 的答案干脆:你越认为 AI 重要,选中国就越不可辩护,因为中国现在根本没有 AI 出口项目——他们没有芯片。这也是他和同事那两篇《The Closing Window to Win》论文的主题:中国迟早会更擅长提供这类出口交易(他们在南美、非洲、中亚的各种国际倡议里一向如此),但现在不行,因为他们提供不了数据中心和芯片,拿不出能对标美国的全栈出口。所以当下如果你足够 AI-pilled,你只能选美国;真正的问题是美国能不能拿出一个这些国家相信它会遵守的交易。他提醒说:即使这是对方唯一能接受的交易,如果你是个足够讨人厌的谈判对手,他们仍然可能非理性地跑掉——建数据中心是可信承诺的一部分,深度产业整合是另一部分,但美国需要在「怎样做一个更让人愉快、更可靠的伙伴」上多花心思。
台湾则是这盘棋上他承认自己没深想、但认为很多 AGI 终局论述都没算进去的巨大漏洞。Nathan 的问题很尖锐:芯片造在离中国很近、离美国很远的地方,我看不到一个世界是中国眼睁睁看着这一切走向「machines of loving grace」式的终局、看着有人拿着不可拒绝的交易来实现「永恒的 1991」而不掀桌——而且晶圆厂是极度敏感的资产,据说一粒灰或一片皮屑就能毁掉一批产品,基本无法防守。Anton 给了三条可能的避险路径:一是 AI 强到美国领先幅度使得围绕台湾的升级对中国而言比接受美国主导更像自杀(但他说不清到底要多强的 AGI 才能造成这种局面);二是晶圆厂被毁其实没那么致命——如果那时你已经在智能爆炸的中途,也许可以就靠已经造好的芯片继续跑,TSMC 被摧毁会让一年内的芯片供给严重受创,但「AGI 在一年里也许能做很多事,尤其如果它拿得到 TSMC 亚利桑那」;三是中国自己也没有自主产能,在自认为在 AI 供应链上落后的情况下对台开战未必是最佳升级方式,它可能更倾向于「在他们的阴影里再多干一阵、把更多产能国产化、之后再出手」。但他明确说:这是一个巨大的脆弱性,任何合理的 AGI 终局都必须把「台湾局面可能在我们脸上炸开」算进去,而很多终局论述没有。
闪电轮:空头、P(doom)、机器人、太空算力与「站立者」
Tyler Cowen 的诘问:如果你这么 doomer,你的空头仓位是什么?Nathan 说自己一直想不出在 doom 情景里致富的办法。Anton 的拆解是,Tyler 想象的是一个更连续、更平滑的通往真正 doom 的引道,在那种世界里押注波动性、押注「近乎失手」和「够灾难但还不是 doom」的事件很合理。但他不认为那是真的:很多变坏的方式是市场一路极好,直到突然极坏;而唯一能兑现的时刻是你已经死了的时刻——这是他认为 Tyler 论证里最不能服人的部分。他指出,如果去看那些经典的 doom 场景和认真讨论存在性风险的人,很多人给的画面恰恰是:一切看起来都好得不得了,战略上很棒、经济上很棒,看着有点怪但经济上依然很棒,直到接管发生或大事故发生。他还补了一个更无聊的元观点:很多人有连贯的世界观但就是不会在财务上下注。所以他也没有好的交易策略。
P(doom):完全取决于你把什么算进 doom。如果是人类灭绝,非常非常低;如果把灾难性风险情景都算进去,包括渐进式剥权的终局状态、稳定威权主义这类,大约 10%——但这只在你把最广义的「政治性 doom 结局」算进来时才成立,他的技术性灭绝概率明显更低。他解释了这个口径的来源:旧的存在性/长期风险组合本来就包含稳定威权主义和稳定的经济剥权;只要那真的是一条锁死、看不到突破可能的人类未来路径,他就愿意把它算进广义的 doom。他也划了界:不是「经济会很烂所以我的 P(doom) 很高」那种滥用口径。Nathan 追问,所以你把「我们活在一个中国 plus plus 的状态里,日子过得不错但没有政治自由」算作 doom?Anton 说是——而且在那种极度剥权、极低人类能动性、极低人类经济参与的情景里,日子未必真的过得好,「如果非要说的话,可以叫永久底层阶级,而且是真正永久的那种」。
机器人:他确认自己所有的推演都假设高度灵活的机器人最终能成(不一定是人形)。他认为这会比预期慢一些,不会很快出现疯狂的工业爆炸,但这是工程问题和规模化问题,物理瓶颈比软件瓶颈存在得更久,但终究「显然可解」。对于「2030 年家庭服务机器人开始进入家庭」这个盘口,他倾向于「大致靠谱」,技术成熟度上差不多,可能因为特异的心理与政治阻力再晚一点。
算力上太空:他把它拆成两个版本。版本一是太空成为「可以放算力的地方之一」——他预计 2029 年会有一些值得放到太空的数据中心配置,推理多于训练,且受发射运力限制,甚至可能出现太空专用与地面专用的两套芯片和机架供应链。这带来的是边际变化:更多算力有效地集中在美国司法管辖内,SpaceX AI 变得强大得多,发射场治理变得更相关。版本二是每一张边际芯片都上天、地面数据中心不再有竞争力,那就疯狂得多:反卫星武器会成为威慑和地缘稳定的关键部分——那是威胁超级智能系统部署的唯一途径,「如果你打不下卫星,那祝你好运,你拦不住那个超级智能」;这和「AI 2040 plan」里让数据中心可见、可被轰炸、可被介入破坏的逻辑一样,在那个世界我们会希望卫星从地面可击落、算力可被攻击,以维持地缘稳定。他补充了两层复杂性:一是打卫星的能力分布不均(美国有,中国大概有,法国和印度都只是有计划的开端),就像核国家需要二次打击能力一样,主权国家可能会想要反卫星能力;二是 Kessler syndrome 构成某种相互威慑——碎片持续碰撞产生更多碎片,最终谁都别想再发射任何东西,这跟大家都被劝阻不要制造核冬天是一个道理。而最可操作的推论回到中等强国:算力换准入的全部前提是美国想在别处建数据中心;如果美国把数据中心都建到太空,这套激励就大幅削弱——因此中等强国的算力建设策略自带时间上限,必须现在就想好之后的终局。
劳动力市场:Nathan 问,现在的模型相比雇一个人到底还差什么?Anton 的回答是,此刻差的不是能力增益,而是与专有数据、专有工作流的整合。在具体任务上模型已经比人强(软件工程尤其明显,一些通用白领活动也是),但你不能把坐在工位上的那个人直接开掉、插一个 Astra 进去;你需要的是「原本三个人现在变成一个人指挥 agent 做事」的组织重构,而那个人得在 agent 做不了的事情上更强一些。所以他预期的是颠覆性而非取代性的影响:改变团队怎么搭、生产率多高,短期内不一定造成大规模失业,还会创造额外需求和人类可做的边际工作——「能力已经到位了,剩下的只是延迟、滞后、瓶颈和摩擦」。
面对 Nathan 构造的极端场景(假如特斯拉授权 FSD,18 个月内基本所有车自己开,四百万靠开车谋生的美国人不再被需要),Anton 的回答分三层。首先是政治反应会先到:工资保险、缩短工时,以及「人在环路」的法律摩擦——就像纽约等地那种「哪怕车自己开也得有个司机坐在座位上」的想法,这类政治摩擦会在真正的冲击之前出现。其次是经济大概能吸收其中相当一部分,但未必是更好的工作、更高的薪水,很可能是更差的工作。第三层是他的关键反驳:驾驶恰恰是极少数「一个岗位只对应一个明确任务、一项技术一对一替代一类工人」的工作,而大多数自动化和 AI 并不是这样——它们咬掉具体任务、留下任务画像的其他部分,因此至少在中期更适合走「增强共存」的结构。
Nathan 接着讲了一个让人印象深刻的小故事:「哪怕车自己开也得有人坐在车里」让他想起他父亲写的一部小说,描绘一个高度 AI 化但相当反乌托邦的未来——所有人都没有工作,但人需要工作带来的尊严,于是被要求出现在岗位上整天站着,这些人被称为 standers(站立者)。两人都笑着说希望别走到那一步,同时也承认现实中已经有些工作差不多就是这样了。
从世界学什么:Nathan 从中国之行带回的困惑是监控的上行收益看着实在诱人。Anton 的反对理由非常具体,也是全集最漂亮的论点之一——他真正担心的是法律的完美执行。美国的法律根本不是为近乎完美的执行而设计的:如果把书面上的每一条法律都执行到位,那将是一个严苛得可怕的监管体制;大量刑罚和刑法条文的结构本身就建立在「每一百个、十个或一千个罪犯里抓到一个」的前提上,威慑强度是照着这个抓捕率校准的。监控(以及更广义的 AI 深度整合)的下行风险正在这里,这也是他认为 Flock 那场争论里最站得住的一点。所以「美国特色的监控」要谈,得等到整部刑法典和相应执法实践被彻底重修之后。
至于该从别国进口什么制度,他相当悲观也相当克制:美国是一个非常特异的地方,靠一套奇怪的制度与经济活动平衡运转得很好;美国政客看向欧洲想搬走某一个具体部件时,通常低估了那个社会处在一个完全不同的均衡里——你若只搬北欧的福利支出,就得在税制上做一些会抑制大量商业活动的事,而那又会堵死别的服务供给路径。政治体制同理:议会制确实更稳定、不会在届次之间大幅摇摆,但你也会得到一个决断力弱得多、更容易陷入僵局的政府。被问到「那我们是不是活在最好的美国?可感觉完全没发挥潜力啊」,他的回答是:这在某些意义上是帕累托最优,而这和「最好」不是一回事——你想改进的每一样东西都会以另一样东西为代价。翻 Institute for Progress 的政策干预清单,你能找到十条明显能让情况变好的边际修法,其中一些确实受别国启发;但对国家运转方式的实质性改变多半不是帕累托改进,而是他没把握「总体上会让这个国家运转得更好」的棘手权衡。
最后的问题是:最需要穿针引线的几件事是什么,以及在那个「90% 顺利」的世界里生活是什么样?Anton 明确表示他不打算去修补 AI 实验室那套宏大叙事。他不持宿命论——他不认为我们需要 AGI 来把我们从什么困境里救出来,「它就是我们接下来要做的下一件事,是下一个大创新,是我们保持复合经济增长所需要的下一个创新」。未来会有很疯狂的部分(太空、机器人、大量自动化),但也会有相当平淡的部分:让我们都稍微更富一点、我们的制度每天稍微更好用一点,就像工业革命以来一直发生的那样。「这就是我的主要希望,我不想做更大的梦。」
而要做到这一点需要什么?他的回答就是 muddle through:确保权力的天平继续运转、财富的天平继续运转;确保实验室不在权力和控制上甩开美国政府;确保美国政府不把全世界的智能流通全部中心化、全部控制;确保其他国家在这件事里有一份经济的、也是权力与影响力与筹码上的利害关系;而每当事情看起来要脱轨、权力在某一处堆积得太多、情况开始变糟,就往回拉一点,让它回到航道上。他说这将是一场漫长的、只在极小边际上反复做这类事情的练习,「然后我们大概就没事了」。Nathan 的评语是:这是一种「不合理地讲道理」(unreasonably reasonable)的世界观。
金句
如果你只暂停开发的这一部分,让中国在其余所有领域继续狂奔、并且继续拉开,那就是一笔极其不对等的交易。 —— Anton Leicht 15:21
这届政府到目前为止很享受不断找到新奇的方式去给 Anthropic 添堵。 —— Anton Leicht 60:40
在欧洲的很多政策制定者房间里,并不存在「我说的这些对接的是一个可能发生、值得准备的现实未来」这个共识。 —— Anton Leicht 84:28
很多变坏的方式,就是市场一路极好,直到突然极坏;而唯一能兑现的那一刻,是你已经死了的那一刻。 —— Anton Leicht [104:26]
我不认为我们需要 AGI 来把我们从什么困境里救出来。它就是我们接下来要做的下一件事。 —— Anton Leicht [122:52]
每当事情看起来要脱轨、权力在某一处堆积得太多,就往回拉一点,让它回到航道上。 —— Anton Leicht [124:24]
提到的书·产品·人物
- Anton Leicht(人物):本期嘉宾,Carnegie Endowment for International Peace 技术与国际事务项目 fellow。
- Carnegie Endowment for International Peace(机构):嘉宾所在的智库。
- Threading the Needle(Substack 专栏):嘉宾撰写的关于 AI 进展背后国内与国际政治经济的专栏,节目里被主持人多次致敬式引用。
- China Talk(播客):主持人最喜欢的播客之一,嘉宾此前在该节目留下「这可能意味着民族国家终结」的伏笔,本期予以展开。
- METR / Redwood Research(组织):两家独立评估机构,对 Hugging Face 事件的调查被认为在理解对齐与控制侧问题上做得很好。
- Frontier Act(法案):嘉宾认为是国会迄今最好的 AI 法案,含独立监督授权与强化 CAISI 的条款,但已基本确定本届国会无法通过。
- CAISI(Center for AI Standards and Innovation)(机构):Frontier Act 试图把它推到更能开展政府监督的位置。
- Dean Ball(人物):嘉宾提到去年秋天与他等人一起撰文,论证「前沿安全条款换州法 preemption」的国会交易空间。
- Anthropic / OpenAI / GDM / Meta / xAI(公司):被划为对风险认知与产业协调意愿截然不同的两个阵营,是「90 天自治框架」设想能否成立的关键。
- Mythos / Astra / Fable 5.1 / Fable 6 / Haiku(模型):节目中被反复用作能力与定价的参照,尤其「生物领域的 Mythos 级模型」被当作危险阈值。
- ASML(公司):欧洲在半导体供应链上最重要的筹码,嘉宾主张将其纳入反胁迫工具。
- TSMC(公司):台湾风险讨论的核心,包括 TSMC 亚利桑那在「晶圆厂被毁」情景下的缓冲作用。
- SpaceX(公司):太空算力情景下最大的受益者,「让 SpaceX AI 强大得多」。
- Tesla FSD(产品):主持人用来构造「四百万驾驶从业者一夜失去岗位」的假想冲击场景。
- Tyler Cowen(人物):提出「你既然这么 doomer,那你的空头是什么」的诘问,嘉宾逐条回应。
- Bernie Sanders(人物):被用作「谁来宣布暂停」的反面案例,其法案版本会让市场读到最坏的政治风险。
- JD Vance / Marco Rubio(人物):嘉宾认为 2027–2028 有没有 AI 政策行动,取决于他们想带什么记录去跑初选。
- Helen(人物):主持人提到她曾就生物风险的现实世界瓶颈与自己有过一轮很好的往复讨论。
- Dario(人物):被引用其「治愈癌症」的表述,说明各家为何把 RL 预算投向生命科学。
- Machines of Loving Grace(文章):被主持人用来指代那种「AI 顺利走到终局、实现永恒的 1991」的乐观叙事。
- Situational Awareness(报告):嘉宾用它来形容挪威主权基金可以做的「AI 重仓组合」思路,并顺口调侃它不如两个月前时髦了。
- The Closing Window to Win(论文):嘉宾与同事合写的两篇论文,主题是美国的 AI 出口野心及其时间窗口。
- Institute for Progress(机构):嘉宾说在它的政策干预清单上能找到十条明显可行的边际修法。
- Kessler syndrome(概念):太空算力情景下反卫星武器的相互威慑机制。
- Flock(争议):被援引为「法律系统没有为完美执法而设计」这一论点最站得住的现实场景。
- AI 2040 plan(计划/文本):被提及其「让数据中心可见、可被轰炸、可被介入」的思路,嘉宾将其类比到太空卫星上。
- Stargate 挪威 / 微软数据中心(项目):被用作「挪威是建算力的好地方」的证据。
- standers(站立者)(小说概念):主持人父亲所写小说中的设定——人人失业但需要工作的尊严,于是被要求到岗站一整天。
适合谁听
关心 AI 治理与地缘政治如何真实咬合的人——尤其是想知道「暂停为什么谈不成」「中等强国手里还有什么牌」「美国行政部门明天能做什么」的政策、投资与战略从业者。