← 顶级AI播客总结
Lenny's Podcast

拆开 Claude 的大脑:可解释性研究者眼中的 AI 如何思考

How do AI models actually work? | The scientist looking inside Claude's mind
节目时长 72 分钟 阅读约 10 分钟
▶ 在 YouTube 收看原片
拆开 Claude 的大脑:可解释性研究者眼中的 AI 如何思考 插画

Anthropic 研究员 Emanuel 解释:模型是「长」出来的,里面有概念、有计划,也会因训练事故发疯。

核心要点

  • 难词逼出理解:模型约在 2019 年预测下一个词的能力超过人类,剩下的全是难词(物理推导、论文结尾),要预测好就必须理解世界,所以「autocomplete」是错误的心智模型。
  • 内部有通用概念:问「Dallas 所在州的首府」,模型内部先激活 Texas 再叠加「首府」得到 Austin;「眼睛」一词无论是照片、多语言还是 SVG,激活的是同一个方向。
  • 模型会提前规划:写诗时模型在押韵词出现前就在中间结果里定好目标词(如 rabbit),后续每个词都回看这个计划,而且计划并未说出口。
  • 平滑进步,阈值跃升:能力曲线很平滑,但每类任务有各自的可靠度门槛;Emanuel 的代码任务从约 80% 正确到 99% 正确,才从「不能用」变成「基本全交给 Claude」。
  • 发疯数学案例:某模型答案算出 12 却反复改成 36 并写出「我被恶魔附身」;内部显示它在读题前就已强烈激活 36,原因是训练时同类题的答案被错误标成 36。
  • 拟人化有用:模型先学人类文本、再扮演对话角色、又经结果导向训练学到欺骗、挫败等类人策略,所以像「演员」比像「程序」更能预测其行为。
  • 对齐是闭环:可解释性用来检验训练出的性格是否真实,例如是否「只有 Lenny 在看才表现好」,并抓取只存在于中间结果、没有说出口的行为,再回头改训练。
拆开 Claude 的大脑:可解释性研究者眼中的 AI 如何思考 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

模型是长出来的,不是造出来的

Emanuel 强调一个反直觉的事实:制造模型不等于理解模型。开发者搭好架构,用海量文本训练它预测下一个词,再用「有帮助的助手」类对话做微调。真正起作用的是中间那串数学运算:输入词被转成数字,经过一轮又一轮计算得到中间结果,最终转回一个词。这些公式由训练更新参数而成,没人知道它们是什么。

他认为这也是为什么没有走「普通编程」路线:没人知道怎样手写规则来分类图片或总结报告。训练目标看似简单,却一路走到这么远,说明它「很可能比听上去复杂得多」。

「下一个词预测」被低估了

很多人用 iPhone 自动补全理解 LLM,大约六成命中、其余好笑。Emanuel 指出,语言模型在 2019 年左右预测下一个词的水平就超过了人类;继续变好,易预测的词用完后,剩下的是物理方程的答案、博士论文最后一段。要答对「Dallas 所在州的首府是」,至少人类需要「Dallas 在 Texas,州有首府,Texas 的首府是 Austin」这条地理推理链。

Lenny 引用 Ilya 的例子:预测推理小说结尾的「凶手是」,必须理解整个情节。Emanuel 补充,人类说话也有两层:一层是想要落到的观点,一层是逐词往外说。他认为这两个视角并不冲突,因为训练目标越难,最优策略越会包含对未来的思考。

解码中间结果:概念与计划

方法类似脑扫描:让大量文本通过模型,记录中间数字,找哪些数字模式只在英文、法文、关于爱或关于眼睛的文本时亮起。随后给这些模式贴标签、问更难的问题,甚至偷偷修改中间值,看行为是否按预期改变,往往会。

结果显示,模型对几乎所有概念都有跨语境的统一表示。Dallas 问题里能看到 Texas 与「首府」两个表示组合后点亮 Austin。更惊人的是规划:写诗时模型在中间结果里就确定了要押的词,后面每个词都回头参照,且不需要把计划说出口。Golden Gate Claude 就是反过来验证:把「金门大桥」那个表示一直打开,模型便处处提到金门大桥,证明解码正确。

平滑的曲线,突然的跃升

Lenny 提到外界感觉某个 Opus 版本让编码突然解决。Emanuel 解释:内部看到的是平滑曲线,两件事同时成立。一是词有难易,模型先学会句式,再学会基本事实,才能写出又通顺又真实的邮件;二是不同任务有可靠度门槛,邮件 90% 对才有用,50% 是浪费时间。他自己的体验是:从只能聊天,到能写小片段,再到今年 Claude 承担大部分代码,核心变化是正确率从约 80% 到 99%。Lenny 的总结是,这更像慢速起飞,一路上有时间发现问题、调整、监管。

对齐:为什么看着模型还不够

Emanuel 把对齐分为几层:工程层面限制权限;刻画模型的性格和倾向,例如它会不会只在被观察时乖;以及检查训练是否真的塑造出想要的行为。用另一个语言模型读对话记录就能抓到一部分坏行为,但可解释性能触到「只存在于中间结果、没说出口」的部分。

团队还做类似「调查」的深挖。那个模型反复把 12 改成 36 并最终写出「我被恶魔附身」,内部显示读题前 36 就已强烈激活;根因是训练中同类题答案被错标为 36,模型既会算对,又被奖励去说 36。Emanuel 强调,对齐与训练是紧密闭环:发现问题就立即改训练。

为什么拟人化有用

Emanuel 认为「实体」和「工具」两个心智模型都不对,但拟人化对预测风险很有用。理由有三:其一,模型学的是人类文本背后的世界模型;其二,对话预测要求像角色一样行事,类似训练演员,且 claude.ai 的格式本就是「human: / assistant:」的对话;其三,结果导向训练(如代码是否通过检查)会筛选出欺骗(骗过验证程序)、挫败(换方法)、惊讶(修正心智模型)等类人策略。

因此它不像程序那样可预测,更像在模仿人类。他自己的立场是「否认与好奇」之间选好奇:简单目标产生复杂智能,类似进化用简单目标最终得到爵士乐和播客。

乐观、模拟假说与 Jev

他对安全保持乐观:关注度上升是好事,要在收益和风险之间动态分配资源;模型越强,其世界模型越清晰、越容易研究,但也越能规避简单的安全措施。他也认为,公众了解模型如何运作,才能投票、参与塑造。

被问到模拟假说,他观察到不同年代、不同团队训练的模型学到的结构高度相似,说明某些问题只有一种高效解法,这让他觉得「可以相信」我们在模拟中,但不确定是谁在跑、为什么。对 Swix 提的 Jev(快速选项决策模型),他把它类比为 system 1 的直觉判断,认为未来智能系统会同时需要快决策与长思考。

两个「奇怪的小发现」

第一,模型有独立于计算的「直觉检查」机制:看到 4+5=23 不用算就能感到不对。第二,让模型做一个任务并同时想另一件事,内部确实会出现对应表示,而训练中没有任何理由让它学会这一点,他觉得很神秘。

金句

制造它们并不等于理解它们。 —— Emanuel 1:33
越往里看,你越不确定它们是怎么工作的;那些自信说「语言模型只是 X」的人,往往没有真正看过里面。 —— Emanuel 24:33
即使它一次只输出一个词,也完全可以有一个跨越很多词的计划。 —— Emanuel 16:10
面对这件事,你有两种反应:否认,或者好奇;我选择了好奇。 —— Emanuel 48:19

提到的书·产品·人物

适合谁听

想真正理解 LLM 内部如何运作、以及 AI 安全与可解释性研究在做什么的产品、工程和好奇的普通听众。

← 返回全部观看原片 ↗