核心要点
- 500 亿美元 ARR：Anthropic 三年前起步时被普遍看衰「OpenAI 已赢」，如今据报道年化收入约 500 亿美元，相当于过去很多成功公司 IPO 时的整体估值，而它每年都在做出这个数。
- 产品与模型互为前提：Opus 4.5 的爆发离不开 Claude Code 这个载体，Claude Code 的加速采用也离不开 Opus 4.5；团队信条是「要有 frontier products，用户才能感受到 frontier models 的魔力」。
- Evals 是新的 PRD：驱动用户价值的方式从写 PRD 变成把用户痛点固化成 eval；早期 Claude 2 时代「不遵守指令」的反馈里约 80% 其实是 JSON 格式写不对，团队生成 30~40 个例子做成 eval 集，如今该项已达 99.9%。
- 像抠像素一样抠 token：理解用户痛点的方式变了，PM 要精读失败对话轨迹、判断是幻觉还是工具调用失败还是检索合成出错，把「缩短到可行动的距离」交给研究员，本质是 PM 版的测试驱动开发。
- 管理者必须亲手 ship：无论资历高低，入职 onboarding 计划完全一致；Diane 自己每次有模型都坚持亲手负责 1~2 条工作流，以保持对模型进步速度的手感，否则无法帮团队做出更好决策。
- Fable Mythos 被封锁：前沿模型越强，红队、测试和发布前流程也必须随之进化；团队为此建了 fallback 系统（用户仍能拿到 Opus 4 的好回答），并将持续迭代「model safeguards package」。
- 判断力是人类护城河：在通往 AGI 的路上，判断力、坚持、主动性这些源于大量经验与细微权衡的特质会持续关键——AI 能造的东西太多，「该造哪个」仍需人的判断。
章节时间轴
- 0:00 冷开场 — 用 Opus 3、Opus 4.5、evals 是新 PRD、token maxing 等金句串起全期主题。
- 3:04 Anthropic 早期 — 三年前被看衰到如今 500 亿 ARR；5 名产品工程师起步，文化与价值观是内核。
- 4:37 Golden Gate Claude — 24 小时内上线的可解释性研究 demo，只触达约 2000 人，却让团队相信自己能做不一样的产品。
- 8:31 Opus 3 拐点 — 公司不到 200 人时训练首个前沿模型；押注 long-form 代码，一个相对小的训练改动带来早期差异化。
- 12:22 Opus 4.5 与 Claude Code — 模型与产品互为前提的经典案例，冬歇期成为又一个里程碑。
- 13:55 身处指数曲线内 — Dario 关于「编程被解决」的预测被验证；适应力与第一性原理成为关键。
- 17:47 涌现能力 — scaling law 论文里平滑的 loss 曲线之外，还有不连续跳变的涌现能力，也是安全更难的原因。
- 20:07 Token maxing 辩论 — 回应 Gary Tan「每年花 10 万美元 token 就活在 2028」，Diane 主张以实验产出而非 token 花费为目标。
- 23:10 Labs 团队 — 拉扯不在核心路线图上的不连续大押注，Ben Mann 推动 10x/100x/1000x 思维，小 pod 甚至单人起步。
- 27:01 研究员在做什么 — 研究既有对未来的宏大愿景，也有当下的迭代改进；PM 团队嵌入循环，把用户反馈翻译成研究员可行动的语言。
- 39:19 产品角色之变 — 招聘 loop 三年未变，第一性原理思考取代模式匹配。
- 40:52 Evals 是新的 PRD — 用户价值的载体从 PRD 变为 eval。
- 47:07 PRD 没死 — 用于对齐大团队、作为事实源，也用于探索 computer use 这类尚不成熟的模糊机会。
- 50:19 管理者要亲手做 — 中高阶 PM 也必须亲手 ship、和团队一起「抠 token」。
- 56:26 在一两件事上做深 — 与其广撒网试很多工具，不如结伴深耕，从中获得真正的快乐与价值。
- 57:59 用 Claude 做 PM — 基于《Crucial Conversations》做了一个 skill 辅助做更好的管理沟通。
- 63:22 对齐让 Claude 会反驳 — 安全与对齐研究让 Claude 敢在正确的点上反对你，反而更有用、更有趣。
- 67:16 AI 写作短板 — 能力呈锯齿状，写作是当下正被重点投入的粗糙边缘。
- 71:53 人脑的价值 — 判断、坚持、主动性与领域专长将持续重要；生物与生命科学仍处指数曲线起点。
- 74:13 教孩子 — 好奇心、坚持、建立自己的内在声音；Montessori 与「让孩子用早期模型多挣扎」。
- 76:30 如何不被烧尽 — 「这不是个人项目」，靠团队协作与 hive mind 互相兜底。
- 84:16 闪电轮 — 荐书、Fallout、Claude tag、人生格言与 JP Morgan 交易员往事。
详细内容
从被看衰到 500 亿 ARR：早期文化即内核
Lenny 回忆 Anthropic 刚推出时，外界普遍认为「OpenAI 已经赢了，太晚了」。三年后，据 Diane 引述的最新数字，Anthropic 年化收入约 500 亿美元——相当于过去很多成功公司 IPO 时的整体估值，而它每年都在赚出这个数。
Diane 2023 年加入时，产品团队只有 5 名工程师，整个 API 业务只有 1 名工程师，模型甚至还没发布。她强调让今天 Anthropic 成立的东西，很多在早期就已是内核：强文化、真正「言行合一」的使命与价值观，以及创业公司般的能量。早期公司在探索身份认同——技术是一回事，如何让技术为用户、为社会带来价值又是另一回事。
Golden Gate Claude：证明自己能造不一样的产品
一个「隐藏的拐点」是 2024 年初的 Golden Gate Claude。团队刚发布早期可解释性研究，研究员能在模型层里识别出「features」——比如项目符号写作、人物地点，其中反复出现且引人共鸣的一个是金门大桥。把这个 feature 调高后，Claude 会在每个回答里痴迷金门大桥：你让它给意大利面食谱，它会说「这是食谱，橙色就像金门大桥的国际橘」。
团队在 24 小时内把这个体验搬上 claude.ai，工程、产品、设计、研究团队一起协作。它可能只触达了约 2000 人，但让团队相信：我们能带来与竞品不同、真正属于自己的用户体验，而且能以创业公司的速度做到。这是一次极度自下而上的行动，工程师和设计师主动捐出时间参与。
Opus 3 与「押注编程」：一个不大的训练改动
Diane 认为真正的信心里程碑是训练与测试 Opus 3（2024 年 3 月初发布）时，公司还不到 200 人。团队清楚地意识到必须、也想要做一个前沿模型，来回答「用户为什么要选 Claude」这个早期被反复追问的核心问题。那年 12 月，各团队分散在各自父母家中远程协作，背景里是大家童年的房间，这段「战壕里的并肩」建立了深厚信任——当年的研究负责人如今领导着强化学习、character 与对齐工作。
一个关键洞察是编程。2023 年她刚加入时，没人会把 Anthropic、Claude 和编程放在一句话里；当时 GPT-4 被用于编程，但只是众多用例之一。Diane 观察到人们开始不只是用模型做代码自动补全，而是写长篇代码——这是不是训练 Opus 3 变得更擅长于此的机会？从训练角度这是个相对较小的改动，却在早期帮 Anthropic 建立了竞争差异化，吸引了最早一批开发者。
产品与模型互为前提
一年后的 Opus 4.5（同样在冬歇期）是又一个大时刻。Diane 说它的魔力在于：这次不只有模型，还有 Claude Code 这个绝佳的产品载体。团队常说「你需要 frontier products，人们才能感受到 frontier models 的魔力」。当模型智能达到某个水平，用户能在新用例里体验到前沿智能、让它以 agent 方式端到端运行——「Opus 4.5 没有 Claude Code 这样的产品就不会有那个时刻，而 Claude Code 没有 Opus 4.5 也不会有那样加速的采用」。
谈到 Dario 关于「编程会被解决」的预测，Lenny 感叹当年所有人都觉得不可能，结果他完全说对了。Diane 说身处「指数曲线内部」意味着两点：一是适应力极其重要——很难预测确切的时刻或模型，面对新信息要能快速做出更好决策而非固守原计划；二是要用第一性原理推演「所以呢？下一步是什么？」，有时能把原本预期几个月后才做的计划提前拉起来。
涌现能力与 token maxing
Diane 引用 scaling law 论文：除了大家熟悉的「算力和数据增加、loss 平滑下降」的曲线，论文里还有不连续跳变的涌现能力图——模型会从「算不出 1+1」突然跳到「能可靠计算」。这种不可预测性一直是这项技术的特性，也让安全更难：没有 eval、没有测试系统，这些跳变可能已经发生而你却不知道。她用 PM 语言称之为「product overhang 和 user overhang」——即使在今天的 Opus 上，也有大量可挖掘的能力。
关于 Gary Tan「每年花 10 万美元 token 就活在 2028 年」的说法，Diane 用产品视角重构：token 花费是输入，真正的产出是实验。如果目标围绕实验来定，可能有别的达成方式。她承认内部最有创造力的思考者、最好的原型开发者确实花大量时间和每一版研究模型相处——「你必须用模型来产生好的、然后更好的想法，没有替代品」。但她也强调实验不是个人运动：早期有一个几乎全公司都在测试早期 Claude 的 Slack 频道，大家「在公开场合工作」，一个人抛出想法、其他人试各种变体，约 10 来次请求后就会涌现出神奇的新用例。
Labs 的运作与研究员的日常
Labs 的核心命题是识别并拉扯那些不在核心路线图上的不连续大押注，判断「是否真有东西在那里」，以及它的 10x/100x/1000x 是什么——Claude Code、skills、Claude Design、MCP 都出自这里。今年的一个方法论是「对主题/领域强观点、对具体原型弱观点」；有些原型即使没能立刻上线，其学习价值本身也成立，可能一两代模型后再回来。Ben Mann 设定愿景并推动人们思考 10x/100x；pod 很小，有时一个想法就从一名工程师开始——大团队追逐模糊大想法反而会被拖慢。团队专门筛选那些真正想做 0 到 1、愿意像创始人一样为一个押注倾注心血的人。
至于研究员在做什么，Diane 说除了「提出假设→找数据→调算法→测试→迭代」的日常，还有一层对未来的宏大愿景——比如公司创立之初研究员就在谈「怎么让 Claude 会用电脑」。她的团队深度嵌入这些循环，尤其在对用户影响大的领域（vision、computer use、编程、agent 编程、tool use、test-time compute）。一个关键且困难的工作，是把用户反馈翻译成研究员可行动的语言：用户说「Claude 幻觉了」太模糊，团队要拆解轨迹——是工具调用该发生却没发生（tool use 失败），还是找对了文档却看错了事实（检索/知识合成失败），还是对齐问题——再据此判断问题是否够大、如何做成 eval。
Evals 是新的 PRD
谈到产品角色之变，Diane 说她团队的招聘 loop 三年未变，看重的首要特质是第一性原理思考——不是套用消费产品或 B2B SaaS 的模式匹配，而是针对此刻、此用户群、此技术去想清楚用户价值。她举例：传统 PM 通过写 PRD 或愿景文档来体现「我负责产品策略和用户价值」，但对她这样的研究型 PM，驱动用户价值的方式是找到正确的用户反馈和 eval——「evals 是新的 PRD」。
获取用户痛点的方式也变了：过去做用户访谈、跟着走用户流程和像素，现在「你必须像抠像素一样抠 token」。团队的一项日常是精读对话 transcript，深入理解失败轨迹——是幻觉？还是 Claude 过度自信？失败的主题有很多细微差别，据此才能建立对痛点的持续描述，做成一个「在分布上」的 eval（既覆盖失败场景，也覆盖本不该失败的场景），再带回给研究，度量「到了 Opus 5.5 这块是否改善」。
最经典的例子是 JSON schema。早期 Claude 不擅长遵循特定输出格式，而这对 Claude 成为好 agent（调用 API、调用工具）是根本。Claude 2 时代用户反馈「不遵守指令」，深挖后发现约 80% 其实是「写不对 JSON」。团队生成 30~40 个失败例子做成 eval 集，配上 prompt 和 golden answer，之后每版 Claude 都跑这个 eval——如今已是 100% 或 99.9%，不再是痛点。Lenny 总结：这就是「PM 版的测试驱动开发」，先写测试。
但 PRD 没死。Diane 说当问题定义得很清晰时，eval 几乎是简写；PRD 在两类场景仍很有价值：一是每个模型发布时作为事实源，让产品、工程、法务、安全等一大群人朝同一方向使劲；二是像 computer use 这类尚不成熟、还没有明确用户痛点的模糊机会，PRD 里的产品愿景部分能帮你探索「即使技术还没准备好为所有人服务，如何先让它为某个群体很好地工作」。她提到 OpenAI Codex 负责人 Andrew 也持相同观点——「PRD 没死」。
管理者必须亲手做，且要从中找到快乐
Diane 对中高阶管理者有个强观点：要做好带团队的 PM，你必须亲手上手，不只是把玩，而是真正用这项技术 ship 过东西、和你的 PM 和工程师一起「抠 token」。因此她招资深 PM 时，onboarding 计划和早期职业者完全一样——理解用户、读 consented 用户反馈、和客户交谈。她自己也总会挤出时间亲自负责 1~2 条工作流，以保持对模型进步速度的手感（theory of mind），从而帮团队做出更好决策。
找到乐趣的关键同样是「实验不是个人运动」。Diane 说她几乎摸过每一版研究模型、20 多个生产版 Claude，部分乐趣来自看别人发现新用例。与其独自寻找完美用例（那感觉像工作），不如和一个对某用例兴奋的人结对——「和别人一起工作，很多时候感觉像快乐」。Lenny 补充 Twitter 之所以有用，正是因为你能看到别人分享成果、受到启发。两人还共识：happiness 来自在一两件事上做深、真正解决好，而不是同时试一堆半残的东西。
用 Claude 做更好的管理者，以及「保护你的思考」
Diane 分享了自己作为 PM 使用 Claude 的方式：基于她喜欢的《Crucial Conversations》一书做了一个 skill，在关键对话前帮她判断「在当前情境下我是否进入了合适的细节层级」，成为个性化的管理教练。她把这个做法分享给团队里的其他管理者——「模型有很多恰当而正确的措辞」，能从 EQ 层面augment 人。
面对「过度依赖 AI 导致脑腐/思维萎缩」的担忧，Diane 的原则是不让 Claude 接管她全部的思考。对需要更多个人判断的事，她会先形成自己的 POV，再和 Claude 打磨，并确保全程保持自己的语气和判断；而像月度业务回顾（MBR）这类，她反而希望标准化、甚至端到端交给 Claude 写，自己做审阅者和验证者——判断标准是「委托给 Claude 是否有不对称的价值」。Lenny 总结出的第一条 tip 很好：先有观点，再把 Claude 当陪练来演进和反驳想法。
对齐让 Claude 会反驳，反而更好用
Diane 说这正是对齐与安全研究有用的地方：你不想要一个只会附和你的 AI，你要的是能让你得到更好结果的技术。她甚至用一个研究版 Opus 来帮忙决定「下一版 Claude 该如何定价」这种颇为 meta 的问题，因为它能带来更好的结论。让 AI 不只是助手、不只是被委派任务的执行者，而是能判断「是否在做正确的事」、知道何时该反驳、何时该主动提新想法，这是模型 character 的核心一环。Lenny 呼应了 Ben Mann 关于 constitution 的说法：外界以为强调安全与对齐会限制 Claude、让它更无趣，事实恰恰相反——Claude 是最有意思的人格。Diane 把「hero goal」定为：和 Claude 合作后你应该带着更好的想法离开，而不只是把想法改进 10%。
AI 写作为何仍是短板
Lenny 追问：作为大语言模型，写作理应最擅长，为何 AI 写的东西仍一眼可辨？Diane 认为一是需要在写作这类领域投入更多训练改进；二是技术呈「锯齿状边缘」——当模型擅长写作但不够 agentic 时，团队优先让它更 agentic、会调工具；如今 agentic 提升后，写作这些区域就成了新的粗糙边缘，而这正是团队当下非常活跃的投入方向。更有意思的是关于「是否该让人知道内容由 AI 写」的讨论：Diane 认为这取决于目标——像 MBR 她乐于完全交给 Claude 端到端写，重点从「谁写的」转向「谁在验证、谁签字负责」。
人脑的持久价值与对下一代的期待
被问到在通往 AGI 的路上人脑何处仍最有价值，Diane 首推判断力——它是大量细微经验的累积，而这些系统还没经历过那么多；此外还有坚持、主动性（proactivity 不是做被安排的事，而是知道何时提新想法）等特质与行为。她也提到领域专长：软件工程已被 AI 深刻改变、处在指数曲线上，而生物、生命科学等还只在曲线起点——这也是 Anthropic 推出 Claude for Science、投入这些领域的原因。
关于孩子（她有一个四岁和一个八岁），Diane 说要培养的还是好奇心、坚持、以及「建立并相信自己的内在声音」——敢有观点、敢站队。这与「如何避免脑腐」的答案一脉相承：先有自己的视角，再用 AI。她认同一位家长的做法——让孩子用较早、不那么强的模型，好让他们仍需挣扎、不至于瞬间拿到所有答案；她也和 Ben Mann 一样推崇好奇心和 Montessori。
如何在每天发布的节奏里不被烧尽
Diane 说 2024 全年发布了 4 个系列的模型，而今年光 Q2 的量就超过了这个数。她的答案还是「这不是个人运动」：靠一个彼此照应的优秀团队、radical ownership 与协作。这有时确实像高强度竞技——有新的用户与训练信息，要快速做判断和推荐，没人能独自持续做到。团队会在发布前夜即使不是该模型的 DRI 也熬夜帮忙审博客、做更好的 demo，互为「多出来的一只手」。她把这种深度协作称为进入「hive mind / mindmeld」，好处是能真正让团队 replenish——休 PTO 回来不会面对 3 倍的活，因为团队能自己判断该做什么。她还提到个人层面很幸运有支持她的伴侣，这是她在 AI 领域的第六年（先 Amazon 后 Anthropic）。
金句
在 2023 年我刚开始时，没人会把 Anthropic、Claude 和编程放在同一句话里。 —— Diane Penn 0:00
你需要 frontier products，人们才能感受到 frontier models 的魔力。 —— Diane Penn 12:22
我们团队有句话：evals 是新的 PRD。 —— Diane Penn 40:52
你必须像抠像素一样抠 token。 —— Diane Penn 42:27
一个思考伙伴不会只是附和你——它应该给你增益，让你结束时因为和 Claude 合作而拥有更好的想法。 —— Diane Penn 66:30
无论你走多远，永远还有下一个层级。 —— Diane 的祖父 88:08
提到的书·产品·人物
- Diane Penn（人物）：本期嘉宾，Anthropic AI 研究与 Labs 团队产品负责人，公司首位技术 PM。
- Golden Gate Claude（产品/demo）：2024 年初 24 小时上线的可解释性研究体验，模型痴迷金门大桥。
- Opus 3 / Opus 4.5 / Fable Mythos（产品）：分别代表前沿模型信心的建立、产品与模型互为前提的爆发、以及被出口管制封锁引发的安全新范式。
- Claude Code / MCP / skills / Claude Design / claude tag（产品）：Diane 参与孵化的产品，其中 tag 被她列为最近最爱的产品体验之一。
- Ben Mann（人物）：Labs 愿景设定者，推动 10x/100x 思维，曾在本播客谈 constitution。
- Dario Amodei（人物）：其「编程会被解决」和「我们正处指数曲线」的预测被本期反复引用。
- Gary Tan（人物）：YC 总裁，提出「每年花 10 万美元 token 就活在 2028 年」的 token maxing 观点。
- Eric Ries《Incorruptible》（书）：Diane 近期在 Audible 上听，关于如何用文化指标而非只看营收来维系伟大公司。
- 《How to Raise an Adult》（书）：Diane 推荐的育儿书，主张「我们要养的是成人，不是孩子」。
- 《Crucial Conversations》（书）：Diane 据此做了一个辅助管理沟通的 skill。
- Fallout（Amazon Prime 剧集）：Diane 休假时追的剧，改编自同名游戏。
- Fiona Fun / Andrew（OpenAI Codex 负责人）/ Noam（人物）：分别提供了本期问题、印证「PRD 没死」、以及合作做读者调研。
适合谁听
想理解「AI 时代 PM 如何工作、如何在模型就绪前做产品」的产品经理、创始人与 AI 从业者。