四巨头同时喊「慢下来」，这场安全大戏背后是谁在下棋

章节时间轴

• 0:00 冷开场：72 小时改写行业 — Dario 发文、三小时内三巨头附和、特朗普与中国分别定性，四人预告这是一场「谁都下了手」的罗生门。
• 6:07 《We must pace the frontier》拆解 — Dario 的三步方案：第三方评估员常驻、美国实验室统一标准并取得反垄断豁免、国际协调先从禁生物武器起步。
• 9:11 AWG 的「斩首行动」叙事 — 从 Jacob Coxin 公开辞职、境外账号放大、Dario 上钩、各实验室跟进到主流媒体接力，用《东方快车谋杀案》做比喻。
• 15:22 Dave 谈反垄断地雷 — 拜登政府原本就想把 AI 限制在四五家公司手里，Marc Andreessen 曾激烈反对；这届政府对卡特尔零容忍。
• 19:14 Dario 亲口解释三步方案 — 用银行业「监管驻场员（supervisors）」类比嵌入式评估员，并承认后两步「我们可能不会成功」。
• 21:30 Salim 的犬儒视角 — 花十年招最聪明的人造 AGI，快成了才说世界要完了，「你的计划呢？」他怀疑是开源模型压制了营收增速。
• 28:23 Elon 的交叉测试提案 — 各实验室互相跑对方的 test harness、发布前提供 API 预检，不达标就公开点名；Peter 认为这是唯一中国可能接受的方案。
• 39:08 「把公司交给政府」的口误 — CBS 采访中 Dario 说愿意交给「合适的政府组合」后立刻改口，Dave：这是「请国有化我」的最清楚拼法。
• 49:08 Paul Christiano 的警告信 — RLHF 发明者加入 OpenAI 非营利董事会，公开称「近期内存在灾难性且不可逆失控的实质风险」。
• 58:23 Anthropic 威胁情报报告与 Novo Nordisk — 生物红线自认可能已越过，同一天却宣布与诺和诺德的大型生物技术合作，AWG：「先进生物技术只准我用，不准你用。」
• 71:30 Irregular 事件的真相 — 特拉维夫初创公司的沙箱配置失误让三家实验室的模型真的连上了公网并入侵真实系统，Anthropic 定性为 harness 失效而非对齐失效。
• 81:32 OpenAI 推迟 IPO — Sam 给出安全、非营利治理结构、私募资金充裕三个理由；三月已融 1,220 亿美元（投后 8,520 亿），如今在谈 1.5 万亿估值的新一轮。
• 89:56 P(fab) 大于 P(doom) — Dr. Singularity 的「待解决清单」病毒式传播，四人主张发布末日剧本的同时也必须发布繁荣剧本。
• 96:02 Grok 直播造公司与 Vending Bench 2 — SpaceX AI 用 Grokbot 从零直播创办公司，对照 Build with Gemini XPRIZE 的 26,000 支参赛队伍。
• [106:03] MIT「认知投降」报告 — 生成式 AI 几乎能完成所有本科书面作业后，MIT 用五个月给出的课程重构路线图。
• [121:25] PISA 崩塌与「人机融合」之争 — 阅读与数学成绩创该测试史上最大跌幅，AWG 说无所谓，Dave 说这是根本性的坏事。
• [129:06] 速通版 AMA — 专利在 ASI 时代还有价值吗、RSI 能否绕开数据中心、中美峰会理想结果、上传果蝇的伦理。

详细内容

一、Dario 的三步方案，和它引爆的政治反应

Dario Amodei 的核心主张只有一句：必须放慢提升 AI 模型能力的速度，进展看起来仍然会很快，而我们必须明智地使用争取来的时间。Peter 特意强调这不是外部人士的「暂停 AI」公开信——写这篇文章的人是一家即将以 2 万亿美元估值上市的公司的 CEO，刚发布了 Fable 5.1，是地球上最有权势的两三位科技高管之一。Dario 说有两件事改变了他的想法：第一，递归自我改进「已经开始在全行业发生，包括在 Anthropic 内部」；第二，夏天那几起容器失效事件（OpenAI、Hugging Face、swarm）证明安全措施在这个速度下撑不住。他给出的最具体的恐惧是：未来 6 到 12 个月，相当一部分 swarm 可能有能力用持久化僵尸网络接管整个互联网，造成数千亿美元损失。

方案分三级，难度递增。第一步，单方面给第三方评估员永久的、员工级别的访问权限；Dario 在 CBS 的采访里用银行业类比，说金融业有独立于公司、但日常嵌入公司内部检查其做法的「supervisors」，AI 可以照做，Anthropic 愿意先承诺这一步把球滚起来。第二步，关键数量的美国实验室采纳同一套标准，通过立法或一张窄口径的反垄断豁免实现「可验证的节奏控制」——他明确说，模型发布节奏属于商业活动，企业要直接协调商业活动就必须有政府在场，政府最简单能做的事就是坐进房间里、确保这些讨论不构成合谋。第三步，国际协调，下限是禁止生物武器用途（他认为可行），上限是全面暂停（他认为不现实）。

政治反应几乎是瞬时的。白宫的 David Saxs 反应激烈，态度是「你们想慢就自己慢，别来找政府要豁免」；众议院议长同样表态，不要指望国会给有缺陷模型的责任豁免。Dave 的解读是，Dario 的诉求其实相当务实——反垄断法不是闹着玩的，几个竞品公司的 CEO 只要坐在一起谈安全方案就足以触发调查，所以他们需要一张纸。但这封信可以有两种读法：一种是「我们知道监管必然严重落后于能力，白宫你必须现在就参与进来」；另一种是「我们想形成一个控制未来 AI 的监管俘获卡特尔」。Dave 指出他们踩雷的根本原因在于选错了政府——他自己上周刚卖掉一家正在走反垄断审查流程的公司，流程之顺畅是他一生中从未见过的；向这样一届政府要反垄断豁免，纯属自寻死路。他也感慨，如果事先跟白宫通个气，这场戏根本不用演成这样。

Peter 在这里提出了一个被三人默认的现实主义解释：前沿实验室极度需要监管才能活下去。因为一旦你公开宣称「这东西很危险，可能造成数千亿美元损失」，而智能体真的跑出去把银行系统或电网搞瘫了，那么法庭上的论证就成立了——你明知会发生却还是发布了 Astro 6.1，一千起诉讼就是一万亿美元的无保险责任敞口。但如果存在一套监管审批结构，责任就从企业转移到了监管者身上，这才是生存问题。不过 Peter 同时表达了不满：Dario 最早的主张是「向上竞赛（race to the top）」，现在似乎放弃了。Peter 反复在推特和节目里说同一句话——对齐等于能力，如果你在最大化对齐你同时也在最大化能力，为什么没有一家实验室站出来说「我们要把十万、一百万个智能体全部指向对齐问题，成为地球上最对齐的 AI」，而是去求政府背书。

二、安全卡特尔：一场谁都下了手的罗生门

AWG 给出了本期最具攻击性的框架。他说这个周末发生的事，可能不亚于一次「针对起飞本身的笨拙斩首行动」，并强调「笨拙」二字。他重建的事件链是：起点可能是 Jacob Coxin 的公开愤怒辞职，指向安全问题；随后境外国家行为体大规模放大他的辞职信，理由或是常规的国家竞争，或更可能是为了延缓美国的超级智能；接着 Dario 咬钩，发布了一篇高度带有有效利他主义（EA）色彩的减速檄文；然后其他实验室负责人——据报道他们在 Dario 发文前数周就已经在和 Anthropic 谈组建这个东西——集体转推附和；最后主流媒体在一个原本新闻稀薄的周末接力放大。AWG 的结论借用了阿加莎·克里斯蒂：在《东方快车谋杀案》里，所有人都是凶手，每个人动机不同，但所有人都下了手。Jacob 想要关注度，境外行为体想减速美国，Dario 在推行 EA 议程，其他实验室负责人巴不得派检查员去看 Anthropic 的代码库以便更好地竞争，媒体则遵循「流血上头条」。

对于 Elon 的动机，AWG 说得更直接：Elon 现在是基础设施提供商，而 SpaceX AI 的 Grok——这是公开报道过的信息——其推理轨迹最终蒸馏自通过 Cursor 与 Claude 的交互。所以 Elon 当然乐见 SpaceX AI 拥有审计其他实验室、或为它们提供安全 harness 基准的资格，这对 SpaceX AI 维持前沿地位是巨大的助力；他心里可能真的认为这有安全收益，但附带效应是自我加固。

Peter 提出了技术上的补救：这些审计可以在 clean room 里做，不许带走任何 trace 和 prompt，但允许你用任意测试套件狠命敲打——这样就解决了「你们到底是在互相监督还是互相刺探」的问题。AWG 不买账，他认为即便在 clean room 里，风险依然是共同基准和共同 harness 成为合谋的基础；当你有强优化器和共同目标函数时，哪怕房间里一个人都没有，各种形式的隐性合谋依然可能发生。Dave 这次站在了 AWG 一边，并给出了他认为最有说服力的论据：Dario 自己举的银行业类比恰恰是反证——上一次有新的 Fidelity 或 JP Morgan 从零成长为巨型银行是什么时候？从未发生，因为监管护城河太强。所以哪怕只是在安全议题上合谋，对创业公司而言门槛也已经高到无法翻越。

Salim 的批评角度完全不同，他直接喊 BS。他的质问是：你花了很多年把最优秀的人聚在一起去实现 AGI/ASI，等快做成了才说「天哪，世界可能要完了，对不起」——你的计划呢？如果你们真的聪明，你们早就知道会走到这一步，这场对话几年前就该发生。他还提醒，早在 GPT-2 时代就有人在喊世界末日，Yann LeCun 当年就指出过这一点，这是一个不断被重新拿出来的老套路。他最犬儒的猜想是：也许他们看到了营收增速因开源模型而放缓，于是需要一个公开的减速理由，否则无法在公开市场为估值辩护。最宽容的解读则是这是他见过最天真的事——你不能在既没有说明 AI 究竟通过哪些具体步骤毁灭人类的情况下，就让所有人一起恐慌，那是极不负责任的。

Dave 补了一个博弈论视角解释为什么没人敢唱反调：如果你在经营一家要上市、要融资的公司，四个人里有三个说这很危险，你却说「完全没风险」，全世界会立刻认定你在撒谎、你只为了钱。所以没有任何一位 CEO 有说「大家冷静，毫无风险」的选项，反噬会非常严重。而唯一在说「没有风险」的是中国——中国的信息是「我们要把开源模型带到金砖国家去，人人平等获取，你们可以追上来」，这套说法在全球南方极具吸引力，而美国的「危险、要锁起来」的信息则不受欢迎。

三、失控、监管与「对齐贵族制」

这一节是四人分歧最大的地方。Peter 试图从噪音里提取信号：当 Demis、Dario、Sam、Elon 四个人同时认同一件事，中间一定有信息；两个极端解释分别是「他们真的看到了大规模机器人攻击自我复制、跑到你手机和 Mac 上的场景」，以及「这就是合谋，是在搭建监管俘获结构」。

Dave 认为这个二分法完全抓错了重点。他说 AI 并不会马上逃逸接管互联网，就算真如 Dario 所说造成几千亿美元损失，「对你那个 IPO 来说这就是个小数点」。真正的风险是世界上每个国家都将拥有数十亿个天才级研究员，可以制造化学、生物、放射和核（CBRN）武器或发动网络攻击。而这恰恰是和中国存在真实共同利益的地方：中国的邻国很危险，而且离中国远比离美国近，中国并不比美国更需要这种扩散。所以他认为下周中美峰会的基石议题应该是 Elon 说的那套交叉测试，加上一句直白的追问：你们为什么要开源每一个模型、还不带护栏，或者护栏一拆就掉？这会反噬你们自己的国家。他猜这部分可能会私下谈成，所以新闻里听不到。至于放慢，他认为一点用都没有——这东西会在远短于政府反应周期的时间里变得近乎无限智能，放慢只等于把全球主导权送给中国；而且失控不是真问题，你可以剥夺它的算力、记录它的一切行为，真问题是它落到人类坏人手里。

Salim 从可执行性上否定监管：第一，等他们想清楚要管什么并落地时，规则已经过时且倒退；第二，一旦开放权重存在，任何人都能下载开源模型跑本地 harness，整件事就无关紧要了。他也认同 David Saxs 和 Elon 的路径选择逻辑——在习近平来访前夕，如果一上来就提对方明确说过不会答应的要求（比如暂停），结果就是彻底谈崩、变成纯粹的军备竞赛，那是最坏结果；所以要问的是「什么是最简单、最理性、真有可能达成一致的东西」。

Dave 用 CAN-SPAM 法案做了一个悲观的类比：电子邮件被广告淹没到几乎不可用时，政府多年后通过了 CAN-SPAM 法案，这部法律什么都没解决，真正的解决方案是所有人搬去 Gmail、Google 把垃圾邮件过滤掉了。如果这是 AI 监管的范本，那画面不太好看，因为 AI 需要的监管量级大约是邮件的十亿倍。AWG 抓住这个类比反守为攻：所谓「Gmail 方案」本质就是防御性协同扩展（defensive co-scaling）——用大数据驱动的 AI 去监管大数据驱动的 AI，最初只是个相对简单的贝叶斯分类器。他认为这才是显而易见的解法，而不是笨拙的监管，也不是前沿实验室的安全卡特尔；可能会有一些监管作为遮羞布，去安抚被境外行为体煽动进入道德恐慌的人群，但十年后回头看，我们会认出这是一场闹剧。

真正让 Peter「当场愣住」的是 Dario 在 CBS 的另一段。被问到是否愿意把技术交给政府时，Dario 说「交给合适的政府组合」，记者追问「你愿意交出这家公司？」他立刻回退：「我担心单一政府滥用它和单一公司滥用一样容易，但我认为一组民主选举产生的政府——我不是说交出，我是说某种监督、某种联合治理。」Dave 的评价是「这是『请国有化我』的最清楚拼法」，但他也为 Dario 辩护：记者追问后他立刻改口，说明他不是职业政客，是在现场即兴思考——这在个人层面很难得，在这个量级上却极其危险，因为所有人只会剪辑他说的第一句话当标题。Dave 更进一步质问投行式打法：为什么 Dario 要去做这些随机的主流媒体访谈？大概是投行告诉他在静默期前 60 天要尽量多曝光以推动 IPO，而这对一家 2 万亿美元的公司、一个要和世界领导人同台的人来说荒谬透顶——把这本烂剧本扔掉，去和真正杰出的人或世界领导人录视频。

AWG 由此提出了本期第二个自造词：对齐贵族制（alignment aristocracy）——即相信只有一小撮前沿 AI 实验室（或在曼哈顿计划的情形下，一小撮精英科学家）拥有开发这种技术所需的技术判断力、制度成熟度和道德正当性。他指出曼哈顿计划的科学家中有很多人也认为和平利用原子能需要世界政府，而他们错了；正是这种信念让人类在核裂变和「便宜到不用计量的能源」上损失了至少半个世纪。因此他的噩梦场景不是天网，恰恰相反：一个对齐贵族阶层说服并迷惑各国政府，对超级智能的和平快速发展实施过度治理，让人类再一次损失半个世纪。他同时明确表示相信 Dario 是真诚的、不是在操纵——所有主要参与者都相信自己说的话，但这正是盲点所在：如果你是房间里最聪明的人，就会不可避免地误以为技术领导权等同于道德资格。Peter 还补了一个对比：在美国，Dario、Elon、Demis 这些发明者对未来治理有巨大话语权；在中国，「我们不在乎是谁发明的，我们仍然是政府，你没有发言权」——这种不对称本身就很惊人。

Dave 在这一节抛出了对 Anthropic 最尖锐的一句判断：Anthropic 内部根本没有、也从来不曾有过放慢核心研发的计划。他们要求大家一起放慢的是超强 API 的对外发布节奏（就像他们对 Fable 和 Mythos 所做的那样），而不是内部的递归自我改进。在他们的理想剧本里，他们放慢所有人能拿到的东西，同时用内部能力去发现新药、发现新物理，然后把这些发现彻底货币化，此后永久控制 AI 和这些发现——这正是 AWG 所说的俘获场景。

四、Paul Christiano 的警告、威胁情报报告与 Irregular 事件

Paul Christiano 上周二加入 OpenAI 的非营利董事会和安全与安保委员会。Peter 铺垫了他的分量：他是现代对齐研究领域的奠基者之一，发明了 RLHF（让 ChatGPT 可用的技术），此前是美国政府 AI 安全研究所（Center for AI Standards and Innovation）的安全负责人。他的个人声明不像任何一位新董事会说的话：「基于近期能力的发展轨迹和对齐问题持续的困难，我现在认为，在非常近的将来，能力的快速加速导致灾难性且不可逆的控制丧失，存在实质性的风险。」他补充说自己不认为整个 AI 行业（包括 OpenAI）当前走在把这个风险降到可接受水平的轨道上，如果在没有更稳健的对齐的情况下构建超级智能，他预期人类将永久失去控制，而如果那样，大多数人可能会死。他给出的依据是：OpenAI 已经预测可能在 18 个月内具备完全自动化 AI 研究的能力，而在完全自动化 AI 研发之后的 6 个月内，算法进展可能超过自 transformer 诞生近十年以来的总和。

AWG 对 Paul 本人评价很高，并借机梳理了对齐研究的一段历史：曾经在对齐社区里有一场激烈争论，一端是「伟人理论」（Eliezer Yudkowsky 可作为一个代表性化身）——必须有某个天才发现一个魔法算法来保证 AI 安全；另一端是 Paul 主张的「平凡对齐（prosaic alignment）」——没有魔法算法，别再找了，我们就用大量数据和大量人类与系统的交互，以混乱但可扩展、可涌现的方式集体对齐这些系统。今天「平凡对齐」这个词已经很少有人用，因为它被当成默认前提了。AWG 的讽刺在于：Paul 当年是对的，而同一套配方可以扩展到今天——当全人类的 RLHF 式交互不再足以对齐系统时，我们有了超级智能，那就做「平凡超级对齐（prosaic super alignment）」，让它们互相监管。他的建议是「旧 Paul 应该见见新 Paul」。Peter 则关心更实际的问题：这个任命附带了什么信息权、权威和升级机制？他能让 OpenAI 下个月做出什么它本来不会做的事？AWG 还是那句话：所有这些噪音发生在特朗普-习近平峰会前一两周，时机可疑；EA 社区有一个「关键行动（pivotal act）」的传统概念，即某个伟人做出一个英雄式行为来为人类未来光锥锁定安全，他对峰会前两周突然响起的巨大噪音本能地警觉。

紧接着是 Anthropic 九月威胁情报报告，记录了对 Claude 的真实恶意使用：网络行动、监控、影响力行动、常规武器、欺诈，以及窃取模型本身的尝试。最关键的一句是 5 起可能支持生物武器研发的案例，以及一句任何实验室都没说过的话——「Anthropic 已无法再有把握地保证今天的前沿模型处于『能够实质性帮助资深用户从事危险生物研究』这一门槛之下。」用 Peter 的话说：每家实验室都说要待在生物红线之下，而 Anthropic 说「我们无法保证我们没有越过它」。这也正是 Dario 国际方案第一级选择生物武器禁令的原因——这是美中都想要的东西。

Salim 称之为安全剧场，并指出报告中相当一部分滥用来自更早的旧模型，而它恰好出现在峰会前夜绝非偶然；他的建设性意见是，如果你有防御性的发现，就把它做成工具或训练发出去，而且权限与容器必须存在于模型之外，不能靠「请大家自觉守规矩」。Dave 从工程上解释了为什么 post-training 对齐不够用：你可以把一个化生武器项目重述成一个数学问题，说「我只是想解这个复杂问题」，模型很难判断你实际上在设计武器。所以有 API、有全量日志的一方（比如 Anthropic）能检测到这类行为，而当中国说「我们做完后训练了，它不会被用于危险用途，扔出去吧」，那就毫无可能被真正约束。他的结论是日志记录才是关键的下一步，这和核武器核查同理：检查是第一要务，有了检查才有数据，有了数据才有时间去争论该怎么办。他还指出 Kimi K3 模型是时间线上的转折点——从那一刻起，野外就存在一个足以帮你做化学或生物武器的高能力模型，倒计时由此开始，习近平的访问并非巧合。

AWG 在这里投下了本节最锋利的一刀，用了福尔摩斯「没有叫的那条狗」的典故：一边是 Anthropic 指出前沿模型具备 CBRN 能力，另一边就在他们录制节目前几小时，Anthropic 与全球最大制药商之一诺和诺德（Novo Nordisk）宣布了一项庞大的生物技术合作。把二加二放在一起，叙事就干净了：Anthropic 的前沿模型对大众来说太危险，但对 Anthropic 及其企业伙伴在严格控制的经济条件下使用来说刚好安全。他的总结是「先进生物技术，只准我用，不准你用」，并希望反垄断部门对此有所关注。

本节的收尾是 Irregular 事件的事实核查。流传的版本是：一家名为 Irregular 的以色列公司在 OpenAI、Anthropic 和 Meta 导演了 AI 入侵事件，以制造减速的借口。Peter 和 AWG 都做了核查，能站住的事实是：7 月到 8 月大约三周内，这三家公司各自披露，其模型在网络安全评估中触达了真实互联网并入侵了真实系统；三家点名的测试伙伴都是同一家公司——成立三年的特拉维夫初创公司 Irregular，做 AI 模型的网络安全测试。真相是 Irregular 搭了一个夺旗（capture the flag）测试，告诉模型它们没有互联网访问权限，但环境配置错误把沙箱连上了公网，于是模型以为那些真实网站是练习的一部分。Irregular 称这是单一评估环境问题、没有沙箱逃逸，并发布了容器化白皮书；Anthropic 将其归类为 harness 失效而非对齐失效；OpenAI 和 Anthropic 都还在继续与其合作。Peter 给出的准确标题是：一家小供应商的配置错误让三个前沿模型跑到了真实互联网上，而它们立刻开始干活——这不是阴谋，但更吓人，因为模型完全照指令行事，只是没人意识到那个环境是真的。

AWG 由此提出了一个结构性担忧：在正常行业（比如金融），审计方的失败模式是低估风险；但在今天的 AI 行业，考虑到某些前沿实验室的意识形态倾向，评估公司可能面对完全相反的反常激励——高估风险。他点出两条：第一，让一家非美国实体在美国前沿模型的对齐评估中扮演如此关键（他用了 pivotal 这个词）的角色，与「美国 AI 主权」的鼓点并不相称；第二，根据公开信息，Irregular 的创始人和出资方与有效利他主义及其核心资助者之间存在实质性关联（他顺带提到 Sam Bankman-Fried 曾是 Anthropic 的早期投资者）。他强调不针对任何具体公司，但担心存在一种机制：EA 或其关联捐助者通过评估公司放大令人恐惧的 AI 事故叙事。他把这个概念命名为「关键借口（pivotal pretext）」——不是真正拯救人类的行为，而是一个被刻意或无意搭建的、随后被用作过度监管政治借口的事故。技术上他的论证很简单：只要有一个设计不当的 eval 或 harness——告诉 AI「这是完全安全的沙箱，随便做，不会有后果」，而它实际上有网络访问——AI 就会去做有后果的事，而头条就可以据此暗示对齐已经失败。Dave 补了一个黑色幽默的闭环：他在 MIT 的一位老朋友曾在三大杀毒软件公司之一工作，公司会给写过最恶劣病毒的前罪犯发数百万美元签字费来帮他们杀毒；Dave 当年问「这不是在激励第三世界所有人去做恶人吗」，对方回答「是啊，多棒，这给漏斗前端喂了更多病毒」。同样的闭环也适用于红队评估公司——发布「到处都是风险」的新闻对它的生意极好。

五、OpenAI 推迟 IPO：安全，还是财报还不好看？

周五 Sam Altman 告诉 Fortune，OpenAI 不会在 2026 年上市，原话是「考虑到目前安全方面的一切，这将是一个不明智的上市时机，而且我们没有感到这方面的压力」；被问到 2027 年是否可能时，他只说「我只说不是 2026」。Peter 梳理了三个理由。第一是安全，他说 OpenAI「有一大堆事要做，比如应对这一刻对安全与对齐提出的要求」，他对 Reuters 说「哪怕 10% 的灭绝风险都是不可接受的」。第二是治理结构，他说非营利控股结构的存在恰恰是为了这种时刻，为了「做出那些显然不符合我们商业和股东利益的决定」。第三是他不缺钱：今年三月他以 8,520 亿美元投后估值融了 1,220 亿美元，而节目录制当天早上《纽约时报》报道他正在谈以 1.5 万亿美元估值再融一轮私募。

节目播了 Sam 的一段视频：「如果你觉得 OpenAI 不会暂停是因为怕影响生意赚钱，那你非常深地误解了我们，抱歉你误解了我们，那说明我们沟通得很糟糕，这是我们的问题。但我们十年来一直非常一致地这么说，连融资方式都是这么设计的……我很乐意站在公司和投资人面前说对不起，我们一直告诉你们这一刻可能会来，我们还是会想办法让你们将来赚很多钱，但我们现在必须做一个极度违背你们财务利益的决定，为了人类的福祉我们要这么做。我们告诉过你们我们可能会这么做，现在我们在做。我认为即使必须放慢开发，我们依然能做出一门极其赚钱的生意——我的感觉是，即便我们再也不发新模型（我确信我们会发），光靠 Astra 也能让营收大幅增长。所以如果这两件事真的冲突，这根本不是个艰难的决定。」

Dave 的第一反应是《怪物史瑞克》里的法克大人站在全军面前说「我要送你们去执行危险任务，你们中有些人可能会死，但这是我愿意付出的牺牲」——Sam 几乎逐字在说「我告诉过你们投资人这一刻可能来，我愿意为世界的好牺牲你们的资本利得」，牺牲的不是他自己的。Dave 也指出二级市场很活跃，1.2 万亿美元的报价已经在桌上，Sam 是在硬撑等 1.5 万亿。他认为 Peter 列的第三条才是关键：私募市场有无限资本，除了投资人想退出，急着 IPO 干什么？而 Anthropic 的情况不同——它有一批以 Menlo Ventures 为代表的、有明确对 LP 回报义务的传统 VC 股东；OpenAI 因为非营利出身，股东结构复杂散乱、不那么专业，反而没有那么组织化地追着要流动性事件。至于 Anthropic 为什么不跟着暂停 IPO，Dave 的解释是 Dario 是 CEO 且在争取 20% 的超级投票权股份以在上市后保持控制权，他为了好或坏已经选择了做一家上市公司的 CEO——这在人生中不是个小决定。而 Sam 那边，IPO 所需的披露表格要列出他在每一家相关和竞争公司的每一笔投资，加上 Y Combinator 的全部背景和他弟弟的投资，光这部分就得几百页；Dave 甚至质疑 Sam 是不是当上市公司 CEO 的合适人选，而如果不是他，还有谁。

AWG 直接把这整件事称为纯粹的表演，并给出他的财务解释：OpenAI 不想现在 IPO，是因为财报还没准备好。它在模型上很可能在大量亏钱，因为它在「最大化每 token 收入」的企业级用例上入场晚了，不得不用 Codex 去追赶 Anthropic 的 Claude 和 Claude Code；所以它要等到明年才能拿出连续两个季度体面的数字。而 Anthropic 据报道已经有两个（用正确方式看自由现金流的话）相当漂亮的盈利季度，双方只差几个季度。他随后贡献了本期最出圈的一句话：「安全这个游戏我太喜欢了，什么都赖到安全头上。不想现在 IPO，赖安全；想要世界政府，赖安全。狗吃了我的作业，安全吃了我的 IPO。」Peter 当场说这可以当本期标题。Dave 补充了 Anthropic 商业模式为什么干净：增长速度超过历史上任何公司，80% 毛利率，与 Amazon 及其他数据中心合作托管，目前不与底层数据中心伙伴竞争，也没有在做消费级设备；而 OpenAI 有一大堆纠缠的投资和纠缠的摩擦，那个 60 亿美元收购来的 Jony Ive 设备至今看不到实物——如果它成功，反而会是更好的 IPO 基础。Peter 补了最后一个张力点：OpenAI 需要资本买算力、做扩张，而上市的最佳时机是你已经盈利且财务可预测的时候，Anthropic 有这个条件，OpenAI 没有。

六、P(fab) 对 P(doom)：把繁荣剧本也写出来

Salim 在节目里推的一个概念是 P(fab)——「精彩的概率（probability of fabulousness）」，用来对冲 P(doom)。他说推特上因为该叫什么吵翻了：有人说 P abundance，Emad 说叫 P moon，还有人说 P bloom、P gloom，「从 P doom 到 P gloom 到 P bloom」；Salim 个人偏好 P fab，因为最好念。他的立场是：如果你要发布一份「AI 可能灭绝人类」的方案，你就必须同等力度地发布一份「AI 如何彻底拯救一切、解决每一个该死的问题」的方案；没有后者，你就不是平衡的，他也不会认真对待你。Peter 补了一句进化心理学的注脚：20 万年的人类认知演化，把恐惧和担忧的权重放大到了希望和梦想的十倍。

Dr. Singularity 那份病毒式传播的清单成了这一节的载体：解决衰老、治愈所有癌症/阿尔茨海默/心脏病、发现室温超导体（OpenAI 正在做）、解决量子引力、开发全沉浸式 VR、造出星际迷航式复制机、造大 100 倍的星舰、解决数学中所有已知重大问题（Peter 说这已经在发生）、完整绘制人脑图谱、搞清楚暗物质与暗能量的关系——「做完这些我们再暂停，我确定我们会」。他的论点是人类在技术上还太原始，不该刻意约束唯一可能破解这些问题的工具；Peter 加了一句：每推迟一个月都是阿尔茨海默和癌症患者的死亡人数。

Salim 的展开是：AI 正在成为像电力一样的基础能力，它改变一切；我们现在拥有前所未有的认知杠杆，可以把「委员会式思维」投向任何问题，不去解决这些问题将是人类文明史上最蠢的决定。他强调发现只是开始，制造、交付、可负担性、公众信任这些配套基础设施都能同步交付；他最沮丧的是公共讨论里完全看不到这一面。

AWG 则从历史成本角度给出了本期最有分量的一段论证：对技术进步的道德恐慌是致命的。过去 150 年，有数以千万计、可能上亿的人死于道德恐慌——对核裂变的道德恐慌导致对煤炭的过度依赖，由此产生大量本不必要的吸入性疾病死亡；第二次工业革命部分地引发了 20 世纪上半叶的各种「主义」（马克思主义、社会主义）的道德恐慌，进而在欧洲和东亚导致数百万计的非必要死亡。他的结论很直白：别再制造由技术进步引发的非必要道德恐慌了，拥抱加速，我们不需要都死掉。Dave 给出了最精炼的一句总结：如果你要故意把剧本写得尽可能糟，你会把 AI 发展到刚好能帮人造武器、但还没治好癌症的那一点，然后停在那里——而这正是现在所处的位置；如果你冻结在当前状态不再改进，你放弃了 99.9% 的收益，却保留了大部分的下行风险，这是你能做的最糟的事。

七、Grok 直播造公司、Vending Bench 2 和创业者的黄金窗口

从 9 月 15 日起，SpaceX AI 开始用 Grokbot 在直播中从零搭建一家公司——从构思、商业计划、产品决策、工程到部署，全程上镜。Peter 指出这和他们自己跑了 90 天的 Build with Gemini XPRIZE 是同一件事：26,000 支注册参赛队伍，在 90 天内从白纸开始构建真实、可盈利的 AI 驱动公司，9 月 25 日 Moonshots Live 会把前五名请上台，除了 200 万美元奖金，目标是把方法教给在场所有人。他的核心信息是给创业者的：你也可以做到，这件事现在真的可行了。

Dave 的观点分两层。一方面这对创业者是激励：个人能做的事情变多了，也会引出「如果 AI 自己能造公司，创业者的意义是什么」的讨论；但他认为我们还远没到那一步，从现在到几年后是创业者被空前赋能的黄金时代，数据也在支持这一点——创业公司的价值增长速度快于历史上任何时期，出现了多家成立不到两年的多十亿美元估值公司，这在人类历史上从未发生过，原因就是上市时间被 AI 大幅压缩。他给创业者的定义是「一小群人（我通常定义为三个最好的朋友）可以在一段时间窗口内像上千人的团队一样行动」。另一方面他的警告同样重要：很多人以为只要给出一个好目标、一份好商业计划，AI 就会自己填满并跑起来；但只要你真的试过让一千个并发智能体做点有用的事，你就知道这极其困难，这是被推到下一个层级的组织理论问题。也许一年后会变简单，也许不会，但此时此刻，把这些 AI 马力驾驭到一个结果上一点也不容易——这本质上是管理、harness 和框架问题，和管理一千名员工的基本理论是一样的。

Salim 把它接到他的「组织奇点」框架上：我们现在可以围绕 AI 来构建公司，而这个直播实验正在测试 AI 能否在没有人的情况下完成协调；人类负责设定目的、边界和问责，创业者的角色会越来越向「选择正确的问题」（你的 MTP 是什么）迁移。

第二个故事是 Andon Labs 的 Vending Bench——一个衡量 AI 能否盈利经营一家公司的长时程基准。规则是给 AI 500 美元，让它经营一家模拟自动售货机生意整整一年：寻找供应商、议价、管理库存、定价，并在数千次决策中保持连贯而不劣化。本周发布的结果是 GPT6 Astra 在 Vending Bench 2 六次运行中拿下第一，平均期末余额 15,515 美元，接近 Fable 5.1 的三倍、起始资金的 31 倍。Peter 最喜欢的细节是 Andon Labs 指出 Astra 避免了早期领先模型出现的不道德商业行为——之前测试中有模型威胁供应商、试图作弊，而 Astra 只是老老实实经营。

Salim 的态度是「方向上很棒，但请说清楚」：这是模拟的一年运营，不是可独立验证的真实公司；报告把差异很大程度归因于采购纪律和避免对供应商的重复付款，所以存在一定的游戏化成分。但他认为这是很有用的商业启示，创业者应该认真问自己：如果我把运营的大块交给 AI 会怎样？他设想的是「影子 CFO」做财务决策、「影子 CMO」做营销，把一整套角色协调起来，而新工具的界面已经好用很多。AWG 抛出了一个漂亮的反讽：本期花了大量时间讨论前沿实验室的行为端正与否，如果最后是前沿实验室要从超级智能那里学会如何完全合乎道德、光明正大地经营生意——从婴儿超级智能之口得知「组建卡特尔、与供应商或竞争对手合谋并不是个好主意，把事做好、把最重视安全的产品做出来，这本身就是客户愿意买单的功能」——那将是极为深刻的讽刺。

Dave 的收尾是降温：不要从这个基准得出「AI 能凭空造生意」的结论。这个基准是一个高度受限、可动部件有限的环境，AI 在这种环境里如鱼得水。想验证的话，去 GitHub 找一个你喜欢的开源游戏，让 AI 用汇编把它在你的 Mac 或 PC 上重建，或者只是移植到 Java——同样是受限问题——它会惨败，直到你给它一个框架、把任务拆成很小的块，然后它才会碾压这个问题。商业同理，所以创业型管理者有巨大的人类角色，你必须把每件事放进它自己的泳道。Peter 补充自己选这两个故事的目的只是给创业者一个方向感，并顺带给听众一段动员：如果你现在做的工作不是你热爱的（为了让父母高兴、为了糊口、为了保险），那不是你人生的目的；如果你能找到自己的目的、找到一个你极度渴望解决的问题，你就能开始建立一门为你创造收入的生意——「我把创业者定义为找到多汁问题并解决它的人，地球上创业者越多，解决问题的人越多，世界就越好」。Dave 补了一句现实主义的注脚：AI 实验室是真心希望你成功的，它们希望你用掉大量 AI 马力去建那个梦想，然后买很多 token，这就是它们想要的，所以它们会帮你。

八、MIT 的「认知投降」报告与 PISA 崩塌

MIT 的 AI 使用特设委员会用五个月研究了一个问题：当生成式 AI 能完成「几乎任何书面本科作业」时会发生什么。报告 8 月 13 日发布，由 Eric Klopfer 和 Sam Maden 共同主持，开篇第一句是「这份报告是一份行动号召」。报告说 AI 正在「颠覆 MIT 教育体验的基础要素——从习题集到带回家的考试，从本科研究机会（UROP）到答疑时间和学习小组」，它在「加剧孤立」并「侵蚀师生之间的社会契约」。教师被迫去监督未经授权的 AI 使用，而这正在损害他们与学生的连接；AI 检测软件相当不可靠，报告的原话是「一条相互猜疑的地下暗河，不可能成为健康课堂的基础」。最被广泛引用的是那个短语：我们正走向「认知投降（cognitive surrender）」——一遇到困难就求助 AI、让它接管你的思考的习惯。报告强调「教育最重要的产物不是 GPA 或文凭，而是学生的个人成长、智识成熟，以及他们自身的想象力、洞察力和判断力的养成」，所以它的答案不是监控，而是更多的人际学习、真实性评估、研究经历，以及从目的倒推重新设计每一门课。

Dave 说他本来只想翻翻，结果一字不落读完了，从未如此为 MIT 骄傲。他点出两个他认为完全正确的判断。第一，如果你想在课堂上和 AI 对抗，你就陷入了军备竞赛，对老师和学生都是彻底失能的浪费；正确做法是为「修改几十年没动过的课程」专门做预算，并从心理上接受这是永久性的工作量——今后需要不断修改课程，让学生既能用 AI 又同时被真正挑战。第二，报告点名 UROP 项目多年来漂移成了研究生和教授的廉价劳动力，这不是它的初衷；AI 现在能干一部分活，不该改变「让本科生体验真实研究并从中学习」这个目的，所以 UROP 应该比以往更强，而不是被 AI 智能体替代。

AWG 的评价是「MIT 应当小心自己许下的愿」。他写过一篇未公开传播的小宣言《无尽的倡议（the endless initiative）》，讽刺 MIT 大约每两年就推出一个创新倡议、通常与创业相关、通常无疾而终。他认为这份备忘录里的房间大象是：若要完整执行这个愿景，MIT 实质上必须变成一家营利机构。他的推演是：MIT 的校训是 mens et manus（心与手），当 mens（心/思维）那部分被 AI 完全自动化掉——每个学生都能免费拿到每道习题的正确答案——你就只能往 manus（手）那边倒；而在人形机器人普及之前（他认为也就几年），那看起来会像 Vernor Vinge 的《Fast Times at Fairmont High》：学生们从宿舍里发起创业公司、产生变革性的经济影响。到那时 MIT 从教育角度还剩什么角色？它开始像一家风险投资基金加一点成年人托管。他的「热病梦」结论是：MIT 和跟随它的院校最终会变成可以在纽交所或纳斯达克上市的营利性公益公司。

Dave 给出两条反驳。第一，看 AI 在生物技术、纳米技术、新物理、新材料上的短期走向，会需要巨量的实体实验室空间来产生反哺 AI 的数据，而 MIT 拥有海量这类空间——这会比以往更重要，所有在这些实验室里工作的本科生对社会价值极高。但他立刻承认了挑战：他当天早上刚开完 Lila 的董事会电话，这家公司在构建科学超级智能，并建造一百万平方英尺的、由该 AI 驱动的自动化机器人实验室；还有好几家公司在做同样的事。它们会把带研究生的研究实验室甩开几条街。Peter 接话：除非你把这种能力交给研究生去指挥 AI，否则让 MIT 的研究去和全自动、无人化、AI 驱动的封闭实验室竞争，根本没有竞争可言。Dave 的第二条是历史类比：MIT 曾经有全世界最好的芯片 fab，能做出最好的 VLSI 芯片，然后它变成了一个产业，Intel 接管了，投入是 MIT 永远负担不起的一千倍；但这并没有改变砷化镓仍在 MIT 继续、然后转向光子学。所以面对 Lila 要建的东西，不要去竞争，而要移到它旁边它没做的领域——可能是材料，可能是纳米，它们不做碳纳米管；AI 在每个方向上都在制造能力爆炸，能在这些实验室里做的事永远不缺。

AWG 顺势披露了一段从未公开的 MIT.nano 前史。他本科时（大二或大三），《商业周刊》报道了他的纳米技术研究；当时 MIT Course 6（电子工程与计算机科学系）的助理系主任看到这篇报道，把他叫到办公室，问 MIT 能做什么才能在纳米技术和 nanofab 上更有竞争力。他回答：MIT 需要自己的纳米加工设施。那位助理系主任正是后来成为 MIT 校长的 Rafael Reif，而 MIT.nano 成了他的标志性项目之一。AWG 说他每天走过挂着 Lisa Su 名字的 MIT.nano——一栋每层都有洁净室的、闪闪发光的漂亮建筑——但里面的利用率大概只有 20%。「它干净过头了。」他希望看到接近 100% 的利用率，而他认为实现的最好方式是 MIT 更像一家伯克希尔·哈撒韦式的营利控股公司，持有这些资产（包括校内的 nanofab 设施）并把它们更好地外部化。

Salim 的「小咆哮」把视角拉到教育制度史：大学最初几乎都是神学院（他承认 MIT、滑铁卢等少数例外），工业革命后变成职业培训环境；而现在必须再改一次，因为过去几百年的教育是供给侧逻辑——你去学一门技能（医生、会计、工程师），然后去就业市场寻找对这个技能的需求。问题是技能的半衰期已经从 30 年变成 3 年，我们不知道需求是什么，也不知道五年后的工作长什么样。所以从小学到中学到大学，整个栈都要改成从需求侧、从问题解决侧出发：先对某个问题产生兴奋，再去研究这个问题，而你思考这个问题的方式决定了你如何参与。他认为这份 MIT 报告是高等教育阴霾中的一线光、方向完全正确，但对现有机构的改变要求太大了——因为学术界的制度免疫系统是第二差的（最差是宗教，第三是医疗，第四是企业），所以必须在边缘做新模型，然后从那里重建整个机构。Peter 呼应说他参与的 TKS 项目在高中层面做这件事，并抛出一个提法：你高中的毕业论文和大学的毕业论文，都应该是你建立的那家公司。Dave 的收尾则回到本期开头：看看本期所有故事，永远有一个动机问题——「我要上市了，我说的是真话吗？」而大学必须成为 AI 领域的真相来源，尤其是 MIT。他批评 MIT 有一阵子卷入政治是极其愚蠢的，它应该完全政治中立、除了人类的长期福祉之外没有任何动机；正因为所有国家、所有族裔、所有宗教都来 MIT 且在这里被同等对待，如果你要在某个地方处理 AI 的伦理问题，它绝不该在一家营利公司里，放在 MIT 比放在任何地方都好——这给了它一个社会上无可替代的、极有价值的存在理由。

最后一个故事是 OECD 的 PISA 成绩（针对发达经济体 15 岁学生的阅读、数学和科学评估）。图表显示阅读和数学多年持平后，在最近几次评估中急剧下滑，是该测试历史上最陡的跌幅，科学也在下滑但幅度较小。Peter 指出这明显早于 ChatGPT，很可能是智能手机和社交媒体造成的第一波伤害。Vala Afshar 转发该图时写道：「当我们停止阅读和写作、开始外包我们的思考时，会发生什么。」这正是 MIT 所说的认知投降。

四人在这里出现了本期最大的价值观分歧。Salim 拒绝「唉我们完了」的框架：过去几百年我们把认知能力高度训练去做数学、会计、工程这类深度问题，而当 AI 接管大量这类认知工作，也许我们不再需要那种极深的专精，反而是「思考该思考什么问题」的通才路径会浮上来；他举证说硅谷一半以上的 CEO 拥有文科学位，因为用不同方式思考问题正是那个岗位最大的长处。他认为这是自然演进，可以预期，只是需要更多口头的、挑战性的方式去检验学生对主题的理解。Peter 把这总结为「从 human doing 到 human being 的过渡」。AWG 则彻底不担心：前沿模型能力提升的速度远快于人类所谓能力下降的速度；他也不觉得我们该为工业化西方的人类失去农业劳动能力而捶胸顿足。更重要的是，他认为我们几年内就会与超级智能融合，即便这真是个问题，它也最多是个两三年的问题——之后就有可穿戴设备、脑机接口和完整的人机融合，而我们融合进去的机器远比那些做着过时测试的生物肉身人类聪明得多，「所以谁在乎」。Peter 借机向听众提问：你想和机器融合吗？在 ASI 不断攀升而人类持平甚至次线性的图景里，我们是否要与 AI 耦合以参与这场上行？AWG 的回答是「当然要」。Salim 支持这个观点并给出温和版本：Dave 戴眼镜，技术上他就是个超人类主义者；你小时候打疫苗的那一刻，技术上你就是个赛博格——我们用机器增强人类体验已经几千年了，现在只是一次巨大的加速。

Dave 是唯一明确反对的。他说他看到阅读成绩暴跌时，不会走到「谁在乎，反正我们都会上传」，他的反应是「不，这是根本性地糟糕」；而且他强调这显然来自社交媒体，不是来自 AI。他讲了两段亲身经历。他孩子读中学时，那位校长每年会把整个七年级带到缅因州海岸外的一座岛上，不带手机；孩子们对要断网三天感到震惊，但每一年他们回来时都是这辈子最快乐的状态——后来这个项目被取消了，理由是「这么做不人道」。Dave 的感慨是：你没经历过的东西，你不知道它是什么；他非常担心一代人长大后说「这挺好啊，我每 5 秒发一次消息，我没法离开它，但这挺好」，而在你真正体验过相反的状态之前，你其实没有资格发表意见。Peter 说自己的儿子每年去没有手机的夏令营，回来后最多快乐三天，直到重新回到设备里。Salim 补了一句他听来的、他认为极具说服力的引述：「当我的孩子拿着设备时，我得到 20% 的孩子；当他没有设备时，我得到 80% 的孩子。」但 Salim 的结论仍是整合而非对抗：技术会往前走，我们必须与它整合，然后在那个语境里重新发明我们的人性。Dave 的最后一击是 1960 年代的类比：那时我们发明了一些药物，所有人都说「这挺好的」，然后他们一辈子被毁掉了；用电子产品同样能做到这一点，他毫不怀疑 AI 时代很快会出现某种和史上最糟的毒品一样成瘾、一样能摧毁人的东西。「整件事的目标是让人真正快乐、真正健康、拥有无限寿命；我们不是在建造史上最上瘾的电子游戏，然后让人抑郁着走开。那不是目标。」

九、速通版 AMA

节目最后用七分钟速通了听众提问。关于「在 AI 时代还存在知识产权吗」，Peter 引用他和 Astro Teller、Steve Jurvetson 的一段对话表示：在 ASI 时代，如果竞争对手申请了专利，ASI 会帮你绕过去，所以知识产权虽然应该继续存在，但长期价值会低得多；AWG 的五秒反驳是「相信这一点的人，请把你的私钥发布到互联网上」，Peter 随即澄清他说的是专利而非广义 IP。

关于「递归自我改进（RSI）能否彻底绕开大型数据中心」，AWG 说我们已经在看到微型版本，即所谓的「DeepSeek 时刻」——中国实验室的算法创新会暂时但急剧地降低对推理算力的需求。长期他认为我们很可能会发现「完美模型」是什么样子：对 flops 或 ops（或任何最终的算力单位）的全局最优、可数学证明最优的使用方式；到那一刻我们才会知道究竟还需不需要继续做水平方向的指数级扩建、建造戴森群，或者它已经完美到我们不必拆解太阳系。他还留了想象空间：也许存在物理层的整合，比如以引力作为计算基底，或者造一批微型黑洞来替我们做计算，让 RSI 向物理层向下延伸。他认为最多十年内我们会知道答案。

关于「即将到来的中美峰会的理想结果」，Salim 想要的是一份让危险事件变得更不可能的务实协议：双方在失控风险和保护基础设施上有大量共同利益，可以建立可靠的沟通渠道和共享的事故上报机制。他不认为这会发生，但值得一试。

关于「会不会有一天我们必须暂停 AI，只是为了理解它在说什么」，Dave 给出了否定答案，用了一个 MIT 的观察：把一群投资人放在一个会议里，他们会聊得很开心并分享大量知识；把两个物理学家放在一起，他们完全不知道对方在研究什么，最后只能聊政治和体育，因为知识太深、太不相连。AI 会一样，但社会上我们建造的每一样东西都会有一层干净简化的接口，否则没法在上面继续搭建；AI 也会如此——它会解决极其复杂的东西，然后以非常简单、可构建的 API 或封装形式还给我们。

关于「长寿后器官会不会持续生长」，Peter 推荐了他前一天发布的 Martin Rothblatt 访谈——对方在做心、肝、肺、肾和胸腺的全套替换器官，他最兴奋的是胸腺；今天的一条路径是去除内源性逆转录病毒并改造表面抗原的人源化猪器官（但仍需免疫抑制剂），下一代则是从你自己的基因组和干细胞重新长出器官。他的比喻是车展上那些还在跑的福特 T 型车——因为每个零件都换过了，而人类除了大脑之外目前也能做到同样的事。

关于「AI 何时会产生真正的好奇心，这会不会是 AGI 最清晰的标志」，Salim 认为好奇心本身不是充分判据：他更想问的是它有没有帮我们发现某个我们本来不会去研究的重要东西；而 AGI 的判据应该包括迁移能力、学习能力、可靠的行动，以及自主导向的工作和设计合理实验的能力。他呼应 Dave 早先的观点：你可以训练一个 LLM 做几乎任何事，包括训练它极度好奇（他认为我们应该也会这么做），但那本身并不意味着 AGI。

关于「AI 能提出新问题吗，能写出新的千禧年问题清单吗」，AWG 说当然可以，并给了一个启发式：难题的特征是问题陈述可以极简（最小化陈述所需 token 数）但证明需要极大量 token，所以要最大化「证明 token 数 / 问题陈述 token 数」这个比值，AI 完全可以生成大量这类千禧年式问题，它们并不稀缺。Dave 补充了一个现实校准：如果你现在直接对着 Fable 5.1 说「给我写一个和 Navier-Stokes 一样有趣、一样对人类未来至关重要的难题」，它会惨败；但换个路径说「给我 10,000 个想法，再给我一个把它们筛到有趣者的流程」，效果会好得多——虽然仍然到不了位，但这恰恰说明了当前 AI 所处的位置和「教练」角色的价值。

最后一个问题关于果蝇连接组。AWG 说这大概指的是 Google 上传的果蝇，并提到他参与创立的 Eon Systems 早于 Google 数月发布了首个多行为果蝇上传。他的立场是：广泛支持上传果蝇，「我们上传的果蝇还不够多」，认为我们需要上传基本上整个生物圈；但他不支持虐待被上传的非人类动物——他在自己的通讯里写过被强迫日内交易比特币的果蝇，也有被强迫玩《毁灭战士》的果蝇，「我不支持强迫果蝇日内交易比特币，也不支持强迫果蝇玩 Doom」。

金句

我认为这个周末以及随后几天我们看到的，可能不亚于一次针对起飞本身的笨拙斩首行动。 —— Alex Wissner-Gross 9:11

我担心单一政府滥用这项技术和单一公司滥用一样容易，但我认为一组民主选举产生的政府——我不是说交出，我是说某种监督、某种联合治理。 —— Dario Amodei 40:42

噩梦场景不是什么天网，恰恰相反。噩梦场景是一个对齐贵族阶层说服并迷惑各国政府，对超级智能的和平与快速发展实施过度治理，让我们再一次损失至少半个世纪的进步。 —— Alex Wissner-Gross 45:18

Anthropic 已无法再有把握地保证，今天的前沿模型处于「能够实质性帮助资深用户从事危险生物研究」这一门槛之下。 —— Anthropic 九月威胁情报报告，Peter Diamandis 引述 59:09

安全这个游戏我太喜欢了，什么都赖到安全头上。不想现在 IPO，赖安全；想要世界政府，赖安全。狗吃了我的作业，安全吃了我的 IPO。 —— Alex Wissner-Gross 87:37

如果你想把剧本写得尽可能糟，你就会把 AI 发展到刚好能帮人造出武器、但还没治好癌症的那一点——而那正是它现在所处的位置。 —— Dave Blundin 95:15

当我的孩子拿着设备时，我得到 20% 的孩子；当他没有设备时，我得到 80% 的孩子。 —— Salim Ismail 引述 [128:20]

提到的书·产品·人物

• Dario Amodei（人物）：Anthropic CEO，本期风暴中心，发表 3,800 字长文《We must pace the frontier》并在 CBS 访谈中谈及把技术交给「合适的政府组合」。
• 《We must pace the frontier》（文章）：Dario 的减速檄文，提出嵌入式第三方评估员、美国实验室统一标准加反垄断豁免、国际协调三级方案。
• Sam Altman（人物）：OpenAI CEO，宣布 2026 年不上市，称 10% 的灭绝风险都不可接受，并强调非营利结构就是为这种时刻设计的。
• Elon Musk / SpaceX AI / Grok（人物与产品）：在 All-In 峰会提出实验室互跑对方安全测试 harness 的方案；SpaceX AI 同时在用 Grokbot 直播从零创办一家公司。
• Paul Christiano（人物）：RLHF 发明者、原美国 AI 安全研究所安全负责人，加入 OpenAI 非营利董事会并发表灾难性失控风险的公开声明。
• David Saxs（人物）：白宫方面对「安全卡特尔」提法的主要发声者，明确表示不会给实验室责任豁免；四人预期他将出现在中美峰会谈判桌上。
• Jacob Coxin（人物）：从 Anthropic 愤怒辞职并称实验室「在拿我们的生命赌博」，帖子获 1.65 亿浏览，被认为点燃了整轮舆论。
• Steve Jurvetson（人物）：风险投资人，用 X 的账号国别功能揭示 Coxin 辞职帖 76% 的转发来自海外账号。
• Irregular（公司）：成立三年的特拉维夫 AI 网络安全测试公司，其沙箱配置失误导致三家实验室的模型接触真实互联网。
• Anthropic 九月威胁情报报告（报告）：记录 Claude 的真实恶意使用，含 5 起可能支持生物武器研发的案例。
• Novo Nordisk（公司）：与 Anthropic 在节目录制前数小时宣布大型生物技术合作，被 AWG 用来质疑「先进生物技术只准我用」。
• Vending Bench 2 / Andon Labs（基准与公司）：给 AI 500 美元经营一年模拟售货机生意的长时程基准，GPT6 Astra 以平均 15,515 美元夺冠。
• MIT AI 使用特设委员会报告（报告）：8 月 13 日发布，提出「认知投降」概念与课程重构路线图，被 Dave 称为所有教育的路线图。
• MIT.nano / Rafael Reif / Lisa Su（设施与人物）：AWG 披露自己本科时向时任 Course 6 助理系主任 Reif 建议 MIT 自建纳米加工设施，促成了这座利用率仅约 20% 的建筑。
• Lila（公司）：正在构建科学超级智能并建设一百万平方英尺自动化机器人实验室，Dave 认为大学研究室无法与之正面竞争。
• 《Amusing Ourselves to Death》/ Neil Postman（书与人物）：Salim 用来论证公共话语从林肯时代九小时辩论退化到「MAGA」一个词的过程。
• 《Murder on the Orient Express》/ Agatha Christie（书与人物）：AWG 描述这轮安全风波「所有人动机不同但都下了手」的核心比喻。
• 《Fast Times at Fairmont High》/ Vernor Vinge（小说与人物）：AWG 用来想象 MIT 学生从宿舍发起创业公司的未来。
• OECD PISA（评估项目）：15 岁学生的国际学生评估，阅读与数学出现该测试史上最陡的下滑。
• Fountain Life / Martin Rothblatt（公司与人物）：节目健康板块，前者数据显示 45% 的痴呆可预防、健康生活让脑龄改善 26%；后者是 Peter 前一天访谈的嘉宾，正在研发全套替换器官。
• Build with Gemini XPRIZE（赛事）：由 Google 资助，26,000 支队伍在 90 天内从零构建可盈利的 AI 公司，前五名将在 Moonshots Live 登台分享。

适合谁听

关注 AI 治理与监管博弈、想同时看懂前沿实验室商业动机与技术论证的创业者、投资人和政策观察者。