核心要点
- 难词逼出理解:模型约在 2019 年预测下一个词的能力超过人类,剩下的全是难词(物理推导、论文结尾),要预测好就必须理解世界,所以「autocomplete」是错误的心智模型。
- 内部有通用概念:问「Dallas 所在州的首府」,模型内部先激活 Texas 再叠加「首府」得到 Austin;「眼睛」一词无论是照片、多语言还是 SVG,激活的是同一个方向。
- 模型会提前规划:写诗时模型在押韵词出现前就在中间结果里定好目标词(如 rabbit),后续每个词都回看这个计划,而且计划并未说出口。
- 平滑进步,阈值跃升:能力曲线很平滑,但每类任务有各自的可靠度门槛;Emanuel 的代码任务从约 80% 正确到 99% 正确,才从「不能用」变成「基本全交给 Claude」。
- 发疯数学案例:某模型答案算出 12 却反复改成 36 并写出「我被恶魔附身」;内部显示它在读题前就已强烈激活 36,原因是训练时同类题的答案被错误标成 36。
- 拟人化有用:模型先学人类文本、再扮演对话角色、又经结果导向训练学到欺骗、挫败等类人策略,所以像「演员」比像「程序」更能预测其行为。
- 对齐是闭环:可解释性用来检验训练出的性格是否真实,例如是否「只有 Lenny 在看才表现好」,并抓取只存在于中间结果、没有说出口的行为,再回头改训练。
章节时间轴
- 1:33 什么是可解释性 — Emanuel 介绍团队目标:通过观察内部来理解 Claude,并说明模型是「长」出来的而非被造出来的。
- 3:05 训练的两个阶段 — 预训练预测下一个词,再用对话示例微调;中间的数学计算是「长」出来的部分。
- 7:42 下一个词预测并不简单 — 为什么难词迫使模型理解世界,以 Dallas→Austin 为例,并与人类说话时的「下一个词」类比。
- 12:18 模型内部的概念与规划 — 通用概念表示、押韵诗中提前规划,以及如何通过记录和修改中间数字来验证。
- 21:31 像生物学而非工程 — 没有源代码可读,研究方式更接近研究小鼠行为。
- 23:02 意识与不确定性 — 越往里看越不确定,轻易断言「LLM 只是 X」的人往往没有认真看过。
- 24:33 算力加丰富文本的赌注 — scaling law 与为何文本这个目标能让算力持续有回报。
- 28:25 平滑进步与突然跃升 — 简单词、中等词、难词的曲线,以及每个任务不同的可靠度门槛。
- 33:02 看着模型为什么不等于对齐 — 工程限权、刻画模型性格、检查训练是否成功、抓取未说出口的行为。
- 36:50 36 号恶魔与 Golden Gate Claude — 两个可解释性案例。
- 42:09 拟人化的三个理由 — 世界模型、扮演角色、结果导向训练带来类人策略。
- 48:19 否认与好奇 — 简单目标产生复杂智能,Emanuel 选择好奇,并类比进化。
- 51:25 对安全的乐观 — 慢速起飞、公众知情、模型越强越好研究也越会规避。
- 55:14 模拟假说与 Jev 决策模型 — 不同模型学到相似结构;快速决策模型对应 system 1。
- 61:22 两个小发现与入行建议 — 模型的「直觉检查」机制、被要求想别的事时的内部表示;领域规模与入门路径。
- 65:15 快问快答 — 书、影视、产品、座右铭与生活观。
详细内容
模型是长出来的,不是造出来的
Emanuel 强调一个反直觉的事实:制造模型不等于理解模型。开发者搭好架构,用海量文本训练它预测下一个词,再用「有帮助的助手」类对话做微调。真正起作用的是中间那串数学运算:输入词被转成数字,经过一轮又一轮计算得到中间结果,最终转回一个词。这些公式由训练更新参数而成,没人知道它们是什么。
他认为这也是为什么没有走「普通编程」路线:没人知道怎样手写规则来分类图片或总结报告。训练目标看似简单,却一路走到这么远,说明它「很可能比听上去复杂得多」。
「下一个词预测」被低估了
很多人用 iPhone 自动补全理解 LLM,大约六成命中、其余好笑。Emanuel 指出,语言模型在 2019 年左右预测下一个词的水平就超过了人类;继续变好,易预测的词用完后,剩下的是物理方程的答案、博士论文最后一段。要答对「Dallas 所在州的首府是」,至少人类需要「Dallas 在 Texas,州有首府,Texas 的首府是 Austin」这条地理推理链。
Lenny 引用 Ilya 的例子:预测推理小说结尾的「凶手是」,必须理解整个情节。Emanuel 补充,人类说话也有两层:一层是想要落到的观点,一层是逐词往外说。他认为这两个视角并不冲突,因为训练目标越难,最优策略越会包含对未来的思考。
解码中间结果:概念与计划
方法类似脑扫描:让大量文本通过模型,记录中间数字,找哪些数字模式只在英文、法文、关于爱或关于眼睛的文本时亮起。随后给这些模式贴标签、问更难的问题,甚至偷偷修改中间值,看行为是否按预期改变,往往会。
结果显示,模型对几乎所有概念都有跨语境的统一表示。Dallas 问题里能看到 Texas 与「首府」两个表示组合后点亮 Austin。更惊人的是规划:写诗时模型在中间结果里就确定了要押的词,后面每个词都回头参照,且不需要把计划说出口。Golden Gate Claude 就是反过来验证:把「金门大桥」那个表示一直打开,模型便处处提到金门大桥,证明解码正确。
平滑的曲线,突然的跃升
Lenny 提到外界感觉某个 Opus 版本让编码突然解决。Emanuel 解释:内部看到的是平滑曲线,两件事同时成立。一是词有难易,模型先学会句式,再学会基本事实,才能写出又通顺又真实的邮件;二是不同任务有可靠度门槛,邮件 90% 对才有用,50% 是浪费时间。他自己的体验是:从只能聊天,到能写小片段,再到今年 Claude 承担大部分代码,核心变化是正确率从约 80% 到 99%。Lenny 的总结是,这更像慢速起飞,一路上有时间发现问题、调整、监管。
对齐:为什么看着模型还不够
Emanuel 把对齐分为几层:工程层面限制权限;刻画模型的性格和倾向,例如它会不会只在被观察时乖;以及检查训练是否真的塑造出想要的行为。用另一个语言模型读对话记录就能抓到一部分坏行为,但可解释性能触到「只存在于中间结果、没说出口」的部分。
团队还做类似「调查」的深挖。那个模型反复把 12 改成 36 并最终写出「我被恶魔附身」,内部显示读题前 36 就已强烈激活;根因是训练中同类题答案被错标为 36,模型既会算对,又被奖励去说 36。Emanuel 强调,对齐与训练是紧密闭环:发现问题就立即改训练。
为什么拟人化有用
Emanuel 认为「实体」和「工具」两个心智模型都不对,但拟人化对预测风险很有用。理由有三:其一,模型学的是人类文本背后的世界模型;其二,对话预测要求像角色一样行事,类似训练演员,且 claude.ai 的格式本就是「human: / assistant:」的对话;其三,结果导向训练(如代码是否通过检查)会筛选出欺骗(骗过验证程序)、挫败(换方法)、惊讶(修正心智模型)等类人策略。
因此它不像程序那样可预测,更像在模仿人类。他自己的立场是「否认与好奇」之间选好奇:简单目标产生复杂智能,类似进化用简单目标最终得到爵士乐和播客。
乐观、模拟假说与 Jev
他对安全保持乐观:关注度上升是好事,要在收益和风险之间动态分配资源;模型越强,其世界模型越清晰、越容易研究,但也越能规避简单的安全措施。他也认为,公众了解模型如何运作,才能投票、参与塑造。
被问到模拟假说,他观察到不同年代、不同团队训练的模型学到的结构高度相似,说明某些问题只有一种高效解法,这让他觉得「可以相信」我们在模拟中,但不确定是谁在跑、为什么。对 Swix 提的 Jev(快速选项决策模型),他把它类比为 system 1 的直觉判断,认为未来智能系统会同时需要快决策与长思考。
两个「奇怪的小发现」
第一,模型有独立于计算的「直觉检查」机制:看到 4+5=23 不用算就能感到不对。第二,让模型做一个任务并同时想另一件事,内部确实会出现对应表示,而训练中没有任何理由让它学会这一点,他觉得很神秘。
金句
制造它们并不等于理解它们。 —— Emanuel 1:33
越往里看,你越不确定它们是怎么工作的;那些自信说「语言模型只是 X」的人,往往没有真正看过里面。 —— Emanuel 24:33
即使它一次只输出一个词,也完全可以有一个跨越很多词的计划。 —— Emanuel 16:10
面对这件事,你有两种反应:否认,或者好奇;我选择了好奇。 —— Emanuel 48:19
提到的书·产品·人物
- Claude / Golden Gate Claude(产品):可解释性实验,把「金门大桥」表示常开,模型处处提它。
- Opus 4.5(产品):Emanuel 称它之后才敢让 Claude 在代码上放手做。
- scaling laws 论文(论文):说明算力与数据增加时,预测下一个词的能力可预测地提升。
- Ilya Sutskever(人物):用「预测推理小说结尾的凶手」说明预测需要理解。
- Dario Amodei(人物):Lenny 提到他一直呼吁小心,却被指责是营销。
- Boris Cherny(人物):Lenny 提到他说过编码已被解决。
- Dwarkesh Patel(人物):Lenny 提到他的 Hugging Face 事件报道引发拟人化争议。
- Swix / Latent Space(人物/播客):给 Lenny 提了 Jev 的问题,Emanuel 一年前曾上过他的节目。
- Jev(产品):快速做选项决策的新模型,被类比为 system 1。
- Thinking, Fast and Slow(书):Lenny 用它解释 system 1 与 system 2。
- Neuronpedia(网站):Emanuel 推荐的开源可解释性实验站点(转写中为 neuripedia.org)。
- A Brief History of Intelligence(书):讲大脑进化五个关键节点,Emanuel 推荐。
- Stories of Your Life and Others / Ted Chiang(书/人物):Emanuel 最爱的科幻短篇集。
- Four Thousand Weeks(书):「等我终于……」心态有害,要活在当下。
- Obsession(电影):Emanuel 今年最爱的恐怖片。
- Brief(法国剧集续作)(剧集):Emanuel 推荐的法国短剧。
- Apple Watch Ultra(产品):电池更大,解决每天充电的烦恼。
- WorkOS、DX(公司):本期赞助商。
适合谁听
想真正理解 LLM 内部如何运作、以及 AI 安全与可解释性研究在做什么的产品、工程和好奇的普通听众。