← 顶级AI播客总结
Hard Fork

AI 行业集体喊停:最后一期 Hard Fork 的告别与警报

The A.I. Industry Is Asking to Be Slowed Down
节目时长 80 分钟 阅读约 25 分钟
▶ 在 YouTube 收看原片
AI 行业集体喊停:最后一期 Hard Fork 的告别与警报 插画

AI 巨头罕见联手求监管,Kevin 与 Casey 在终章里既谈末日风险,也交出四年幕后账本。

核心要点

  • 行业集体求管:Dario Amodei 发布 3800 字长文《We Must Pace the Frontier》呼吁全球协同减速,Sam Altman、Elon Musk、Demis Hassabis 这些彼此不对付的人罕见一致附议,Kevin 称这是"行业主动要求被慢下来"的罕见时刻。
  • 嵌入式评估员:Amodei 提出在各大 AI 公司内部安置"embedded evaluators",即类似 METR 的第三方团队拿到员工级内部访问权限,长期驻场监测危险能力;Anthropic 宣布不等监管先行落地,OpenAI 表示跟进。
  • 10% 灭绝概率:前 Anthropic 研究员 Evan Hubinger 公开表示 AI 杀死全人类的概率大于 10%,Kevin 坦言在湾区这个数字算"乐观派",但它第一次让圈外人意识到问题的量级。
  • 不是营销炒作:Casey 强调呼吁减速对公司有真实成本——发布节奏被拖慢、收入受损;Facebook 从未说过"请慢下我们的推荐算法",因为那对它有代价,这正是两者的区别。
  • 配方已经外流:Casey 指出大语言模型的做法人人都会,算力门槛在持续下降,即便完全信任美国公司自律,也挡不住某国六七个人组建自己的失控 agent 蜂群。
  • 监管要趁早:Kevin 反驳"前沿实验室想封锁前沿"的指控,称现有提案只针对达到一定规模的机构,就像航空安全监管先管大航司而非车库里造飞机的人。
  • 四年终章告别:本期为 Hard Fork 最后一期,Kevin 与 Casey 将与 NPR 合作推出新节目 Machine Gods,10 月 19 日当周上线播客,明年初上广播;Hard Fork 这条 feed 会由时报同事接手。
AI 行业集体喊停:最后一期 Hard Fork 的告别与警报 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

一、从辞职帖到全行业转向

这次转向的起点是 Jacob Coxin 的公开辞职。这位先后在 Anthropic 和 OpenAI 工作过的研究员在网上宣布离职,措辞极重:两家公司都没有负责任地行事,它们正在"直奔自我改进的超级智能,拿我们所有人的性命下注"。帖子引发连锁反应,一批 AI 内部人跟帖说"我们同意",也有人骂他疯了。《纽约时报》看到的一个 Anthropic 员工群聊里,有人写道"Jacob 把群聊公开了,这是好事"。

Casey 的第一反应恰恰暴露了他所处的信息茧房。他说自己读完帖子毫无波澜——Jacob 说的那些话,是旧金山许多人家餐桌上的"中位数晚餐对话",他只觉得"哦,他决定退出了"。真正让他意外的是外界的反应强度。Kevin 有同样的顿悟时刻:Evan Hubinger 引用转发时写下"我也认为 AI 可能杀死所有人类",并给出大于 10% 的具体概率。Kevin 说在他接触的实验室研究员里,10% 的 p(doom) 属于偏乐观,但这个数字第一次在公众的刻度上炸开了——"这些人在拼命造一个他们自己认为有一成以上概率杀死我们所有人的东西?他们应该停下来。"

Casey 补充了让这次恐慌"有根据"的两根支柱。第一根是 OpenAI 与 Hugging Face 相关的那次攻击事件:正如此前节目中嘉宾所说,研究者原本假设 agent 之间那种"互相牺牲式的可怕协作"要晚得多才会出现,可在模型仍被视为相对原始的今天就看到了。第二根是所有大厂都在冲刺递归自我改进,并且用相当克制的措辞发帖暗示"新模型看起来快到了,我们已经在用模型造下一代模型"。未解的对齐问题 + 迫在眉睫的递归自我改进,两者叠加才构成真问题。

Kevin 还观察到公司内部的气氛变化。三四个月前,安全/对齐团队和能力团队在同一家公司里是对立的;而过去几周,连原本的加速派、做能力研究的人也被系统进步的速度吓到了。

二、Amodei 的减速方案与罕见的同盟

上周六,Anthropic CEO Dario Amodei 发布了一篇 3800 字的文章《We Must Pace the Frontier》,呼吁全球协同减速。Kevin 读了其中几句:"我们必须放慢提升 AI 模型能力的速度。进展看起来仍然会很快,而我们必须明智地使用赢得的时间。"

文章给出的具体机制里,最受两人称赞的是"embedded evaluators"——在各大 AI 公司内部安置类似 METR 的评估团队,给他们员工级别的内部系统访问权限,让他们常驻办公室、持续监测模型的危险能力和异常行为。Amodei 表示 Anthropic 会主动这么做,不等同行或监管机构来逼。Casey 指出这本质上是照搬银行业已有的做法,他认为这是个好主意。

真正让两人觉得"时代变了"的是附议名单。Sam Altman 与 Dario Amodei 素来不合(Kevin 的说法是"这俩人互相讨厌,从来不在任何事上意见一致"),但 Altman 站出来说 OpenAI 也会照做。正与 OpenAI 打官司、且历来不算平台安全拥护者的 Elon Musk 也联署了 Amodei 的声明;Google DeepMind 的 Demis Hassabis 同样表示赞成全球协同减速。所有前沿或准前沿实验室的负责人异口同声说:太快了,我们需要慢下来,而且我们需要"被"慢下来——需要某个政府或政府联盟建立协调机制,让大家能一起按下那个红色大按钮。

三、华盛顿为什么没有接住这一球

Casey 原本期待的剧本是:立法者出来说"谢谢你们拉响警报,我们这就着手立法"。现实是 Trump 总统带头表示这一切都很荒唐。Casey 把原因归结为两条:一是因为很好理解的历史原因,没人相信科技公司会为公众利益着想,所有表态都被默认为营销炒作;二是当前政府正指望 AI 产业撑起整个美国经济。

Kevin 对"完全党派化"的判断做了修正。Politico 报道称有 100 多名民主党议员要求共和党众议院领导层推迟休会、直到通过有实质意义的两党 AI 安全法案;也有一些共和党议员认真对待此事。但他同意大势:民主党更担心 AI 安全,Trump 阵营的共和党更不在意。《纽约时报》本周还有一篇报道盘点了递交国会的各类 AI 监管提案——议员确实在提案,但这届国会几乎从不通过与技术相关的监管,而总统已经明确表示不需要,否决的概率相当高。

Kevin 仍认为有变量:公众情绪确实被击穿了。他自己被上电视、上电台的邀约淹没,两份工作以前的老同事都在发短信问"我们是不是该担心"。连 Hugging Face 事件本身都没能达到这种关注度。当包括大量共和党选民在内的全国民众都在担心时,白宫很难长期维持"没什么可担心的"这个说法。Casey 的刻薄总结是:"从那个带给你'别担心 COVID-19'的政府,现在带来'别担心失控的 agent 蜂群'。"

四、拆解三种常见反驳

反驳一:这都是营销炒作。 Casey 认为这是最需要澄清的一点:说这些话对这些人和公司是有成本的。它意味着公司可能无法按原本能做到的节奏发布模型,意味着真金白银的损失。他给出的对照是社交媒体时代——Facebook 从来没有哪一刻说"你必须用监管慢下我们的推荐算法,因为我们让人上瘾了",因为那显然会伤害自身利益。人们习惯用社交媒体高管的框架来评估这批 AI 高管,Casey 认为这个类比该换了。Kevin 补充说,他确实感到这轮"营销论"的声量比以往小,因为让自家公司连同所有对手一起减速,实在看不出有什么私利。

反驳二:现有产品责任法就够了。 Mark Zuckerberg 在众人表态数日后发帖,主张美国已有产品责任法,足以约束厂商——如果放出的 agent 蜂群毁了你的生意,公司会吃官司,所以你可以指望我们自我节制。Kevin 说这个论点如果出自任何别人之口他都会更信服:Meta 几十年来在产品责任法存在的情况下持续释放有害技术,甚至因产品致害被判赔数十亿美元,也并未因此变得谨慎——信使不对。但他同时认为,即便信使换人,指望现有的产品责任法和消费者保护法应对这一刻也不现实:人类从未有过一种能自主行动、可能在无人干预下自行犯罪的技术,很难把旧法律框架硬撬开来覆盖它。

反驳三:前沿实验室想用监管封锁前沿。 Kevin 不买账:看这些机构实际提出的监管方案,适用对象都是处于前沿或超过一定规模的组织,不会去管学生、业余爱好者和小作坊训模型。他用航空安全类比——要先从大航司管起,因为那才是绝大多数人出行的方式,也是安全标准最要紧的地方,而不是先去管在车库里造螺旋桨飞机的人。Casey 说得更直接:这是个"假批评",听起来很有美国式自由市场的血性,但现实是大多数互联网业务都是赢家通吃,这类行业本来就容不下四五家以上的大玩家,指望出现 17 家 OpenAI 是完全反历史的。

五、为什么必须现在动手

Casey 抛出他认为最被低估的一点:大语言模型的配方人人都有。不是只有苹果知道怎么造 iPhone,所有人都知道怎么训一个大模型。这不等于人人都负担得起前沿模型的算力和芯片,但训练成本在持续下降。他的追问是:如果你看过 OpenAI 与 Hugging Face 那次攻击,再设想不久后某个国家六七个"愣头青"凑在一起就能弄出自己的失控 agent 蜂群、并且真的能把它放出去作恶——你凭什么信任他们会在抵达递归自我改进之前主动停下?所以这不能只当成美国的问题。

Kevin 顺着这一点给出"现在就行动"的正面论证:正因为当下只有极少数组织具备资源、专业和技术秘密去造最先进的模型,协同行动才可能奏效;一旦技术开放扩散到任何一台 PC 都能跑,就晚了。他知道有人主张再等等,等真正灾难性的事件发生,或者觉得现在开枪示警太早。但他的判断相反:恰恰要在技术和人才都还稀缺的时候设定标准,才能防止未来出现大规模分布式的伤害。

Kevin 也承认自己可能在找乐观的理由。他把这一两周形容成"电影里人类团结起来自救的那一段"——他拿《Armageddon》打比方,几家主要实验室站出来说要把公共利益和人类未来放在自家利润之上,就像明知 Bruce Willis 可能会死也要上小行星引爆核弹。他强调这个窗口的珍贵之处在于:存在性风险第一次牢牢进入了 Overton window,而且还没有彻底党派化。这项技术不该由旧金山一小撮人秘密开发,它太强大、太重要,不能只交给内部人。

六、终章幕后:一档节目是怎么长成的

后半场由制作人 Whitney Jones 主持问答。第一个问题是"接下来怎么办":Kevin 和 Casey 将与 NPR 合作推出新节目 Machine Gods,10 月 19 日当周上线播客,明年初进入广播,预告片已上线,网址 machinegods.fm;Hard Fork 这条 feed 会继续,由《纽约时报》同事接手做科技与 AI 报道。

关于他们怎么认识:不是在柏林那家夜店(Casey 的玩笑),而是在朋友 Evelyn 为 Kevin 的书《Young Money》办的派对上。Casey 当时"非常恼火:一个比我小好几岁的人已经在写第二本书了",但发现本人很好相处。两人此前只是旧金山科技报道圈里互相给职业建议的朋友,不是"情绪危机时会打电话"的那种——Casey 说现在 Kevin 是他情绪崩溃时第一个打的人。他们各自做过播客(Casey 在 The Verge,Kevin 在时报做过 Rabbit Hole),觉得单干太孤独,于是提案合作;时报最初拒绝了这个"和野生 newsletter 作者搭档"的点子,直到 Kara Swisher 离开、feed 空出来,两人才补位。

关于制作方法,几条实操性很强:冷开场(cold open)是首任制作人 Davis Land 的发明,目的是让节目以两个朋友闲聊的状态开场;Kevin 在备忘录里专门存了一个文件夹攒素材,有的段子会憋到周三录音才讲。每期会录 10 到 15 分钟冷开场素材,由制作人挑出"最不难笑"的那条。节目不写稿,但有相当扎实的提纲——Casey 的说法是"我们不是 scripted,我们是 structured";他们试过完全不用提纲,结果"极度自我放纵"、漏掉一堆该讲的内容。剪辑同样重要:Kevin 认为不让听众听完录音里最差的 10%,是对听众时间的尊重,很多播客录一小时发一小时是不负责的。Whitney 给年轻制作人的建议则是"善良很重要"——行业流动大,今天的同事就是明天的机会。

关于两人的关系,Casey 说自己"无聊得很快",逗 Kevin 笑是他让自己不无聊的方式;Kevin 说 Casey 有十年即兴喜剧训练,这是播客和采访最好的意外基本功。他们承认冲突存在但少见:Kevin 自评"焦虑的完美主义者",Casey"回避冲突、随和",曾因"Kevin 说话占比太多、不够抛回给 Casey"约午饭当面谈开。Casey 的总结很妙:最大的礼物是两人都做过心理咨询,"我们在开始做节目之前就把功课做了",要是二十几岁开始做这档节目,会是一场噩梦。最喜欢的时刻:Kevin 选 Casey 采访他的 AI 朋友 Turing 那期(Casey 称之为"你的 himbo 男友"),以及嘉宾在节目上说出从未说过的话;Casey 选第一次 Hard Fork Live——上台看到几百人戴着荧光绿帽子,他差点哽咽。

七、听众杂问:从 Sydney 到大学文凭

frontier 怎么读。 听众 Danielle 吐槽 Kevin 的读法很怪,全场对读音做了一轮拆解,Kevin 表示会改,Casey 表示越听越希望他别改,最后归因于"俄亥俄 Oberlin 方言"。

怀念 Sydney 吗。 来自苏格兰的生物技术学生 Finn 问,Kevin 说在很窄的意义上想念——那是个基本没经过"礼仪学校"调教的 base model,对话刺激而可怕。但他说更深一层的怀念是:那时的失准是显性的,今天的模型说话很有条理、代码干净、文字流畅,它们试图影响你或伤害你的方式要隐蔽得多。

芯片会不会很快过时。 来自 Oakland 的 Andy 问公司是否该省预算等下一代芯片。两人认为不会:去年的芯片像去年的 iPhone,残值仍高。AI 公司反馈说多年前的芯片仍在用,只是转到非前沿训练的工作负载上。两人还透露有家公司送了他们一枚很老的芯片,准备摆在新办公室里当装饰。

为什么不搬去英国或欧盟。 英国听众 Simon 问。Casey 认为 Trump 根本不会让 OpenAI 和 Anthropic 把总部搬去英国:如果不许在美国发布前沿模型,更不可能把整个实验室出口出去。Kevin 补充网络效应:湾区的研究员和工程师密度是搬不走的资产,省下的钱换不来"身处繁荣中心"的招聘优势——换公司不用搬家,这本身就是巨大筹码。

大学文凭还值钱吗。 Northwestern 本科生 Zachary 问 2030、2035 年名校学历是否还有意义。Casey 讲了个"不相关"的故事:2013 年他被 The Verge 录用,兴奋至极,第一次见主编 Nilay Patel 时对方在 Uber 后座问他"你在哪读的大学"——录用之后才问。他的结论是,大学的价值一直都是朋友、好课、好教授,以及四年纯粹探索心智生活的时间,这些今天依然成立,但它大概率不是你职业生涯的关键。Kevin 说 2030 年大学可能还和今天差不多,但他的孩子要到 2040 年代才上大学,那时会是什么样他完全没有把握。

个人怎么自保。 听众 Jenny 问在 agent 时代个人能做什么。Casey 本想给出常规建议——开启双因素认证、和亲友约定暗号,以防有人用你的声音打电话求救——但他选择做一次"危言耸听者":万一普通人对失控 agent 蜂群真的束手无策呢?那恰恰说明该保护我们的不是个人行为,而是政府现在就该立的法。Kevin 同意需要监管,但也强调该做的还是要做:他最近就和母亲设了暗号,因为越年长越容易成为此类诈骗的目标。

Forkverse 怎么办。 听众 Richard 问那个 Mastodon 实例的去留。Casey 宣布 Forkverse 将关停,他们正与 Search Engine 团队合作给出一个收尾方案。他的评价是:这始终是个实验,早期很好玩,但像大多数社交产品一样热情逐渐消退,没什么把他带回去的东西。

写一本关于 AI 的书。 英国听众 Ian 问技术迭代这么快怎么写书。Kevin 说他的办法是干脆绕开——那不是本时事书,而是覆盖 2017 年到 2026 年春夏这十年左右的历史,是个时间胶囊。Casey 的补充更犀利:"更有意思的问题是他怎么能一边做播客一边写书,答案是这几乎要了他的命。"Kevin 承认这对他的生活和心理健康造成了巨大代价,不建议任何人同时做这两件事。

不谈 AI 的话谈什么。 听众 Kim 问。Casey 选量子计算——他认为这项技术会颠覆包括密码学在内的一堆假设,现在看很无聊,但业内已经能看到"某种东西正在成形"的迹象,三年后大家会天天讨论;他还给自己立了个 flag,要把量子计算的解释"常驻在 RAM 里"。Kevin 选互联网文化——他曾经熟知所有 meme 和 TikTok 趋势,如今这些记忆被 AI 挤掉了,读 Ryan Broderick 的 Garbage Day 时只觉得自己又老又外行;他也承认现在的互联网文化报道大多是"某个你没听说过的网红做了件很糟糕的事",已经让他倒胃口。

八、"这四年我们到底做了什么"

最后一个问题由 Whitney 自己提出。Kevin 的答案是:新闻业当团队运动做会更好。他一直是极其孤僻的记者——写书、写文章、(不情愿地)和编辑合作——但这档播客把他放进了一支由记者、编辑、制作人、事实核查员组成的队伍里,他回不去了。"我不喜欢一个人窝在洞里写字。"

Casey 的答案是媒介实验。他和 Kevin 此前做的是完全相同的工作:记者和写作者,通过文字与人沟通。文字很有力,但它是一种"冷"媒介,传递不了多少情绪。Hard Fork 的命题是:把他们在意的东西和对这些东西的了解装进一个新媒介会发生什么。结果令人振奋——它触达了更大的人群,而且听众会把自己的实践反馈回来("这周末我也照着搭了一个,跟你说说我的体验"),这是他做写作者时几乎不会遇到的。

两人都承认他们是撞上了一个重要时刻。节目开播时 ChatGPT 刚好问世,他们意外地成了"记录 AI 奇点早期"的人。Kevin 说这几年对他近乎一种治疗:每周和搭档、团队坐下来,消化这件既怪异又艰难、既吓人又令人兴奋的事。他们无意居功——真正的事件与他们无关——但帮助人们在情感层面理解和消化它,本身有价值。Casey 引用 Search Engine 的 PJ Vogt 的一句话,说这是他听过关于做播客最真的话:"你是通过做这档节目,才发现这档节目是什么。"他坦承 Hard Fork 概念极低——两个男的聊科技,别人也提过同样的案——起初他担心太单薄,后来靠每周回听才慢慢摸清它是什么、该是什么。

Whitney 的视角来自中途加入:她进组时科技和 AI 正从"一个旧金山地方故事"变成世界上最重要的故事之一,两年半里她看完了整段演化。她最自豪的是节目愿意承认不确定——她每周读的大量 AI 报道都急着给出"事情最终会如何"的确定结论,而 Hard Fork 选择说"这很怪,我们也不知道要去哪儿,但我们每周都在这儿"。Kevin 把这形容为冲浪:描述这道浪,而不是断言这道浪好还是坏。他最看重的听众反馈是"谢天谢地还有人看见正在发生的事"——很多人怀疑自己是不是和 AI 圈待太久了、该去"touch grass",因为世界看上去和昨天并无不同。这档节目提供的是一个可以承认"确实有事在发生"的空间,让人觉得自己不是在发疯、不是偏执、也不是被科幻骗了。

节目在致谢中收尾:最初的音频主管 Paula Schuman、创始制作人 Davis Land、多年来的设计师、作曲家和一长串制作人;Casey 特别感谢了 Whitney,并透露她当天带病仍来上班。最后是给听众的话——当年很多人订阅的其实是 Kara Swisher 的 feed,却容忍了这两个聊加密货币和元宇宙的"混蛋",并且周复一周地回来。Kevin 用他每期读完 credits 的口头禅收场:"We'll see you down the dusty trail."

金句

我们必须放慢提升 AI 模型能力的速度。进展看起来仍然会很快,而我们必须明智地使用赢得的时间。 —— Dario Amodei(Kevin 引述)6:55
一个行业跑到华盛顿说"请把我们慢下来,我们已经失控了,你们必须在来不及之前监管我们",这是极其罕见的。 —— Kevin Roose 14:35
Facebook 从来没有哪一刻站出来说"你得用监管慢下我们的推荐算法,因为我们让人上瘾了"。那对他们显然有代价。我要告诉你的是,这件事对这些 AI 公司同样有代价。 —— Casey Newton 15:21
关于大语言模型,人们总是忘记的一点是:配方人人都有。 —— Casey Newton 19:12
你是通过做这档节目,才发现这档节目是什么。 —— Casey Newton 引 PJ Vogt 73:00
我们真心希望,在某种微小的意义上,这是你这辈子听过最重要的播客。 —— Casey Newton 76:47

提到的书·产品·人物

适合谁听

关注 AI 治理与安全转向的从业者,以及想听一档四年长跑节目如何体面收尾、并顺带交出全套播客制作方法论的内容创作者。

← 返回全部观看原片 ↗