核心要点
- 押注指数曲线：Mark 坚定相信 scaling laws，"pre-training is dead" 这类悲观论调他都强烈反对——这套规律已经撑过近 10 个数量级，没有理由停下，每次瓶颈都被新工程或研究洞见突破。
- 推理是最大下注：reasoning 是最难起步的突破之一，o1 推出前公司沉浸在"pre-training+post-training"范式里，是 Jakub、Ilya 等人有 conviction 才推动，且费了大量功夫才让全公司认同这一根本性押注。
- RL 怕主观：RL 在数学、编程这类"冷硬真理"领域起飞最快，因为对错分明；在创意写作等两位专家会有截然不同评价的主观领域则最难直接应用。
- Evals 危机：经典黄金标准评测（如 SAT）已被"saturated"，且数量很少；模型还存在 benchmaxing（在相似实例上过拟合），OpenAI 把出评测的团队和优化模型的团队分开以形成对抗。
- 三年路线图：终极目标是模型端到端自主做研究、具备研究品味，研究工作正快速转向以 orchestration 为主——研究员出想法，模型负责实现与执行。
- 高风险下注是 alpha：OpenAI 区别于其他实验室之处在于敢下高风险赌注，失败者的 writeup 也很宝贵；连续失败的研究员只要想法 sound，"偶尔命中一次大的"就值得，像交易员一样看期望值。
- 统一多模态架构：对研究实验室而言图像、音频、视频、文本应尽量收在尽量少的架构里，核心研究能复用、只需维护一套基础设施栈，规模化成本不可低估。
章节时间轴
- 0:03 开场与煲汤挖人梗 — Zuckerberg 煲汤挖人传闻、Mark 确认自己也给研究员送过汤把人留住，今天现场做韩式豆腐汤。
- 1:34 从交易员到研究员 — 复现论文培养研究品味、AlphaGo 启蒙、交易"无法作弊"的硬指标如何迁移到研究。
- 5:26 RL 的边界 — RL 在客观领域（数学/编程）起飞、在主观领域（创意写作）受阻，以及如何评估超人智能。
- 8:33 Scaling laws 与 pre-training 是否已死 — 坚守指数曲线、历次瓶颈都被突破、reasoning 作为最难起步的下注。
- 11:37 研究治理：自上而下与自下而上 — meritocracy、管理者 steering、底层证据驱动；路线图稳定但实现细节可变。
- 13:55 算力分配与项目筛选 — 每 1-2 月审视约 300 个项目、directive 与灵活算力池并存、每 org 收敛到 3-5 个核心下注。
- 15:27 如何识别与培养研究员 — 面试难判断、6-12 月见分晓、不同类型的 impact（快速执行型 vs 疯狂 moonshot 型）。
- 19:16 Evals 危机与 benchmaxing — 黄金标准评测枯竭、出评测与优化模型团队分离形成对抗、Codex 加速评测迭代。
- 23:08 与 Jakub 的合作与幽默 — "一支金牌得主组成的笨蛋大军"的玩笑、jagged frontier、模型缺乏人类的 context。
- 25:26 长 context 与 context rot — 朴素扩窗 vs 做好长 context、needle-in-haystack、compaction 等工程捷径。
- 28:31 新下注、AGI 与持续学习 — 大下注窗口在变小、不确定 continual learning 是否是必须解锁的基本原语、"很多次射门，应该会成"。
- 31:35 统一多模态、vibe researcher 与失败复盘 — 单一架构的优势、orchestration 转向、高风险下注与 postmortem 文化、overrated/underrated。
详细内容
从交易员到研究员：研究品味怎么练
主持人提到 Mark 前一段职业是交易员，Sam Altman 也曾发推说高频交易员应该考虑加入 OpenAI 去造 AGI。Mark 的看法是：很多研究员一开始并没有正规的机器学习训练，OpenAI 一直相信"把人培养起来"。真正难的是创造性解决问题、跳出框架思考，PhD 虽然能带来宝贵技能但并非必需。他不觉得交易有多特殊，但承认它有迁移价值——交易"无法作弊（unhackable）"，你骗不了真实世界，是个很难优化的硬指标，且极度看重细节、是"残酷的硬优化、把系统的汁水挤出来"，这些特质会迁移到研究上。
关于如何培养研究品味，Mark 认为它"有点被高估了"，但确实需要发展，而他找到的最佳机制就是复现（replication）：拿你仰慕的论文，完整复现它。他回忆 2018 年复现 ResNet、PixelCNN，努力让训练曲线、loss、perplexity 精确对上论文暗示的数字——这个过程会教你很多论文里没明说、但深挖几层才学得到的技巧。把他带进这个领域的转折点，是 AlphaGo 对战 Lee Sedol（Lucid Doll），他真正动手的第一个大项目是让 DQN 跑起来。
主持人感慨如今"move 37"出现在几乎每个领域——数学、计算机、编程，很多人在今年初突然意识到 agents 已经能在自己的专业里做长周期的有意义工作。
RL 的边界与超人智能的评估
主持人问哪些工作 RL 更难切入：编程因为 context 都可获取（代码库、要做的工作）相对容易，但像初级咨询顾问那种 context 散落各处的工作就更难。Mark 的判断是：RL 传统上在"主观多于客观"的领域有逆风。典型例子是创意写作——两篇创意写作，两位专家可以有截然相反的评价。在这种"难以打分"的领域，RL 最难直接应用。虽然很多人在研究把 RL 用到这些场景的技巧，但目前 RL 真正起飞的还是数学、计算机科学这类"冷硬真理"——实现对了就是对了，错了就是错了。
谈到评估超人智能，主持人指出当模型把 IMO 这类题目都 saturate 了，怎么继续往前推进、超越人类 top 0.1% 能做的事？Mark 认为关键在于"与真实世界对接"。OpenAI 过去思考如何超越编程 context 时，最初方向是把它推向真实世界研究——模型已经在发现新定理、推进硬科学前沿，甚至能在不同领域间画出新颖而有洞察的联系，这点如今几乎被视为理所当然。因此他们把编程/coworking 当作一个测试域，检验模型能否在高 context、真实世界、长周期的设定中学习。
Scaling laws 与"pre-training 是否已死"
Mark 在这里态度最鲜明：他坚定相信指数曲线、相信 scaling laws，任何"bear take（悲观看法）"他都相当强烈地反对。他注意到"pre-training is dead"这个叙事其实只是最近一两年才更广泛流传，但在 LLM 发展史上，人们多次说过类似的话——总有人说"因为某个瓶颈你没法再 scale 了"，而每次都被某种技巧突破：更好的工程、新的研究洞见、更精细的数据工程、更精细的 scaling。这套规律已经撑过近 10 个数量级，他认为没有理由不继续撑下去。
主持人追问哪些"大家都说不会成"的押注最终帮助突破。Mark 第一个想到的就是 reasoning。世界上第一个对外发布的突破是 o1，但起步并不容易：当时大家活在"pre-training + post-training"的范式里，那感觉太有前景了，所以连在 OpenAI 内部都会有人很自然地问——"机器已经能用了，为什么还要折腾别的？"是 Jakub、Ilya 等很多对这个方向有 conviction 和 vision 的人，让公司开始认真推进，即便如此也花了大量 steering 才让全公司把它当作根本性押注。
研究治理：自上而下与自下而上并存
主持人问如何激励研究员去下很多可能不成的赌注、同时维持团队信任。Mark 说 OpenAI 很酷的一点是研究像个 meritocracy（精英治理）：研究管理者往往就是过去做出最好研究的人。所以很多 steering 可以自上而下——当你长期尊敬其研究品味与执行力的管理者说"我真的确信这是前进方向"，大家会重重地纳入考量。同时也有自下而上的元素：OpenAI 乐于"被证明自己错了"，有人拿着冷硬的证据就能让一个没人在推动、但某个一线研究员深信的想法，变成研究路线图的核心部分——这也是很大的惊喜。
主持人提到 Mark 在此前采访中说内部研究路线图基本没变过。Mark 解释：高层路线图应该稳定，因为人们需要可以扎根的东西、需要看到通往目标的路径，他很高兴这条路他们守了很久；但实现细节会随时间变化——sequencing（排序）、相对资源投放、地面上的具体威胁都会变。他们设有一些"强制重新考量"的时间点，比如分配算力的时候，就是质问"我们是否把算力和人投到了最高优先级的地方"。
算力分配、项目筛选与人才识别
被问到"高层 vs 实现细节"的具体含义，Mark 给出了最高层的组织结构：一个 org 专注 pre-training（给模型大量世界知识），一个专注 RL（教模型用这些知识推理、把小洞见串起来），最后是 alignment 与 post-training。每个领域都同时看"如何 scale 主线"和"哪些新下注能根本性解锁不同或更激进的 scaling 特性"。
关于每 1-2 月审视约 300 个研究项目，Mark 强调"聚焦"：OpenAI 在收敛下注，也在做更多 directive（指令性）的算力分配。但他不喜欢微管理自己的管理者——重要的是 empower 他们：把大块算力给到你想押的大赌注（这就是 directive 的含义），同时也给他们灵活的算力池，让他们自由分配到自己相信的事、或微调上面规定的分配。做法是把每个 org 的少数下注（3-5 个）绑进主研究路线图，剩下交给管理者和 leads。
关于面试识别研究员，Mark 坦言"在人进 OpenAI 之前判断真的很难"。好的研究管理者与大量研究员共事过，会形成直觉——看对方说的话、提的想法是否"打在同一个点上"、是否是你自己也会想的东西，这是一种"直觉是否对得上"的 gut check。但出门一锤定音很难，通常 6 个月到 1 年就相当清楚谁的轨迹最强。他特别强调研究员有很多类型：有人想法一清楚就抢先实现；有人提出"近乎太疯狂但又没那么疯狂"的 moonshot，用一种全新的看世界方式说服你——做出 impact 的方式很多。
Evals 危机与 benchmaxing
主持人问 vibe check 和 benchmark 是否高度相关。Mark 承认存在"benchmaxing"现象（他不确定这是不是对外用语）：你可以在某些分布上过拟合，办法很简单——找跟 benchmark 极其相似的实例去过度训练，这样并不能反映泛化能力。更可怕的是，领域里"经典黄金标准"评测的数量很低，而我们都熟悉的好评测（如从小考的 SAT）已经被 saturate，所以"我们其实正处在一场 evals 危机里"，急需找到给模型打分的好新方法。
Codex 这类工具的一大好处是让评测能快速迭代——一个人就能很快拼出一个高质量 eval。另一好处是部署模型后能直接观察人们用它做事时的表现，从数学、编程、软件的广泛部署中获得"它在哪里崩、能做多长 task horizon"的直觉。
关于如何在"benchmark 表现好"与"不 benchmark maxing"之间平衡（毕竟分数低消费者会觉得模型不行），Mark 给的答案是：必须在有代表性的评测混合（representative mixtures）上运作，并持续投入造新评测——一个评测一旦放到世界上，它就已经不是好评测了。一个有意思的做法是和外部组织合作出评测（很多硬数学/科学评测就是外部伙伴打造黄金标准），并且把出评测的团队和优化模型的团队分开，避免互相激励：评测团队的目标是造出对模型很难的题，这是一个内在对抗的过程，你不会作弊给自己放水，两个团队的激励因此对齐。
Jagged frontier、长 context 与 context rot
聊到与 Jakub 的合作，Mark 说他们在很多方面共同管理研究，且配合默契。被问到趣事，他转述了 Jakub 昨天讲的笑话：某研究员跟 Jakub 说"我现在感觉自己手下有一支由金牌得主组成的笨蛋大军（an army of really dumb gold medalists）"，Jakub 回他"这感觉就是我现实生活里的处境"——他形容 Jakub 是"残酷地讽刺又好笑"。
这引出了 jagged frontier（参差前沿）的话题：模型能解 IMO/IOI 却在人类轻松完成的琐碎任务上栽跟头。Mark 认为对模型直觉的东西常常对人类不直觉，反之亦然——有些能力模型因数据或更易教而天生擅长，而视觉这类是人类生物学上天生连线的。很多差距归结于 context：模型缺乏人类拥有的大量 context；而"从单个任务学到教训、应用到未来任务"这种对人类很自然的能力，正是当下很多人在攻关的方向。
谈到 context，主持人提出最 low-hanging 的做法是直接扩大 context window。Mark 区分了"实现长 context"和"把长 context 实现好"——有大量 needle-in-haystack 风格的测试去衡量后者。但他认为除此之外还有很多工程与研究上的捷径，比如很多编程产品已有的 compaction（压缩洞见或工作状态），能绕开纯原生长 context 所需的那些"残酷困难且昂贵"的原语。
统一多模态、vibe researcher 与失败复盘
被问到图像、音频、视频、文本是否应统一在一个模型里，Mark 认为对研究实验室而言统一有很多优势：只需维护一套基础设施栈，而同时维护和 scale 多套栈的成本不可低估；核心研究能在基础栈里做好、再迁移到任何模态。所以他们强烈倾向于把架构数量保持得越少越好。
关于"vibe researcher"，Mark 认为这个世界正在快速到来：OpenAI 和其他实验室的工作正变得以 orchestration 为主——研究员出想法，模型足够强能自己做实现和执行。想法与执行都还重要，但市场正在向"能产出大量想法、由模型执行编排"倾斜，这"很可能就是做研究的未来"。不过模型还没有足够的"taste（品味）"，这也是为什么还需要研究员出想法；教模型好品味会很难，但在加速研究上已有清晰可见的收益。看三年路线图，终极目标是模型端到端做研究，而这其中一部分就是让模型具备好品味——你指向某个通用 benchmark，它能找到正确解法。他相信研究品味终会与模型达到 parity（持平）。
关于研究失败的 postmortem，Mark 说高风险下注是 OpenAI 的一大 alpha，也是它能持续处于前沿的原因，但代价是有些赌注不会成。关键是别自欺欺人地以为"这一定能成"而迟迟不脱身——有时要回头承认"这在当时是个有前景的想法，但其实没那么重要/有更好的方法"。即便失败，很多工作也很有价值：失败者的 writeup 很重要，因为那往往是个自然的想法，能让很多人省去重走老路。对于连续下注都不成的研究员，Mark 说他确实见过有人陷进去，但也有人一次次失败、就在你快要受挫崩溃时突然来个 mega hit——这种事发生得够多，所以关键看想法本身是否 sound（可以雄心勃勃但必须 sound），有这么一类人愿意在更冒险的前沿取很多想法，他们只要偶尔命中一次就说得通了，"这是很交易员式的世界观，本质上就是看期望值，他们要在 expectation 上加值"。
最后问及 overrated/underrated：Mark 说如果你还持"pre-training 已死"的世界观，那 pre-training 是被低估的（绝对没死）；此外，产品、思考终端用途、把研究里造的原语接到真实世界的 agentic 用例，也被低估了——你不能在真空里造一切而不连接到实际效用。
金句
交易是无法作弊的，你骗不了真实世界，它是个很难优化的硬指标。 —— Mark Chen 2:20
这套规律已经撑过将近 10 个数量级，没有理由它不会继续撑下去。 —— Mark Chen 10:05
一个评测一旦被放到世界上，它就已经不是个好评测了。 —— Mark Chen 21:36
我现在感觉自己手下有一支由金牌得主组成的笨蛋大军——Jakub 说，这感觉就是我现实生活里的处境。 —— Mark Chen 转述 Jakub 23:54
对模型直觉的东西，往往对人类并不直觉。 —— Mark Chen 24:40
他们只要偶尔命中一次就说得通了——这是很交易员式的世界观，本质上就是看期望值。 —— Mark Chen 37:00
提到的书·产品·人物
- Mark Chen（人物）：本期嘉宾，OpenAI 首席研究官。
- Mark Zuckerberg / Meta（人物/公司）：传闻煲汤挖研究员，是本期煮汤梗的由来；节目结尾还角色扮演他来"挖人"。
- Sam Altman（人物）：曾发推称高频交易员应考虑加入 OpenAI 去造 AGI。
- Jakub（人物）：与 Mark 共同管理研究、配合默契；推动 reasoning 押注的关键人物之一；以"残酷讽刺又好笑"著称。
- Ilya（人物）：被列为对 reasoning 方向有 conviction 和 vision 的关键人物之一。
- AlphaGo / Lee Sedol（Lucid Doll）（产品/事件）：Mark 入行的启蒙转折点，"move 37"也由此而来。
- o1（产品）：OpenAI 推出的第一个 reasoning 突破，起步并不容易。
- Codex（产品）：被赞能让评测快速迭代，一个人就能拼出高质量 eval。
- DQN（技术/项目）：Mark 真正动手的第一个大项目。
- ResNet / PixelCNN（论文/模型）：2018 年 Mark 用来练复现、对齐训练曲线的论文。
- SweBench / SweBench Pro（评测）：节目中作为编程评测的代称被提及（结尾还把"试汤评判"戏称为 external evals）。
- SAT（评测）：被举例为已被 saturate 的经典黄金标准评测。
- IMO / IOI（ILI）（竞赛/评测）：被用来讨论模型在顶级竞赛题上的超人表现与 jagged frontier。
- Sean（人物）：节目尾声受邀来评判两锅汤的"external eval"。
适合谁听
想了解 OpenAI 内部研究文化、scaling 信仰、evals 危机与 AGI 路线图的研究者、创业者和 AI 从业者。