数据在前沿最值钱：Mercor CPO 拆解开源冲击、ROI 焦虑与 RL 环境

核心要点

• 前沿最值钱：Oswald 反对开源吞噬论——数据在模型能力前沿最值钱，开源只是抬高地板，让「Kimi K3 已经能做的」不再有人付费买；只要客户还有想突破的新能力，业务就继续增长。
• 潜在需求未计入：他不认同「90% 企业工作流已能被开源/前沿模型处理」，认为这类算法只算了现有需求，漏掉了大量潜在需求，例如把采购团队交给一个跑几个月、每周才查一次的长周期 agent。
• 充分型 vs 无上限型：Apex 基准里顶级模型在长周期工作流仅约 50%；他把工作流分成「充分型」（更新 CRM，做完即止）和「无上限型」（法律论证、医疗建议），后者用百分比框架完全错误，应看「持续无上限奖励」。
• 敏感数据的悖论：HR、采购等通用流程企业愿放专有闭源模型，真正差异化的核心业务（如律所的备忘录、给客户的建议）才敏感；于是出现把敏感数据放开源（多为中国）模型、把 HR 放闭源的反讽，关键取决于开源权重在哪里跑。
• 没有 ROI 问题：Oswald 认为当下不存在 ROI 问题，正处于探索与实验期、容忍度更高；Benioff 每年花 3 亿美元买 Anthropic（约合开发者薪资的 3.8%），他预期这一比例会升到 3% 以上，甚至认同「趋近 100%」——因为 Mercor 已经花在 token 上的钱超过薪资。
• PM 转向砍面积：eng 不再是瓶颈后，PM 的活更难——不是造 10 倍产品面积（那是混乱），而是持续缩减、简化面积，找出最可扩展的工作流；PM 与工程师比例上升，理解用户与业务需求成为新瓶颈。
• RL 环境最火：增长最快的数据类型是 RL 环境——高保真模拟 app（如仿真 Salesforce）+ 代表用户机器的丰富初始状态（成百上千文件）+ 训练 agent 完成任务；Mercor 自认是该品类领导者，这是当前的数据前沿。

章节时间轴

• 0:45 开源是否吞噬生意 — 主持人抛出「open open open」的大迁移叙事，Oswald 用「数据在前沿最值钱」正面回应。
• 2:18 90/10 与潜在需求 — 反驳「90% 工作流已被覆盖」，引入尚无人尝试的长周期任务这一未被计入的市场。
• 3:03 企业对前沿实验室的恐惧 — 借 Alex Karp 的观点，谈核心业务数据的敏感性与开源/闭源的错位反讽。
• 5:21 充分型 vs 无上限型工作流 — Apex 约 50%，用两类工作流拆解「百分比框架」的误区。
• 7:38 是否存在企业 ROI 问题 — 主张当下是探索期、容忍度高，token 价格与性能仍在剧烈变动。
• 9:58 Token 支出如何权衡 — ClickHouse 6X、Benioff 3 亿美元、100% 论；按用例区分成长性支出与成本性支出。
• 12:17 AI 时代的产品经理 — 从「造更多」转向「砍面积」，PM:eng 比例上升，判断力取代技能。
• 14:37 产品复盘：过度灵活的教训 — 标注平台支持太多工作流导致混乱，应更早设护栏、收窄服务。
• 18:26 服务化浪潮与创始人黑帮 — 服务是知识扩散期的短期未来；FDE 与「只流失给创业」的文化。
• 22:19 后 AI 招聘与面试 — 偏好资深、把一切当高管搜寻；一轮验 AI 熟练，转向白板考实验设计与判断力。
• 26:13 如何保住独立思考 — 绝不把判断与决策权交给模型，否则会「丧失能力、陷入 psychosis」。
• 28:32 团队结构与会议节奏 — 两大产品线、4-5 人 pod、周五晚开周会保问责。
• 33:49 供给侧扩张与利润率 — 优质专家体验驱动推荐计划；利润率事后由专家成本与 LLM 支出共同决定。
• 38:27 客户集中与下沉市场 — 前沿实验室是最大客户，靠 AI 项目经理下沉到每个企业以分散集中度。
• 40:47 增长最快的 RL 环境 — 拆解环境数据为何难做、为何是当前前沿。
• 43:05 价格敏感度与作坊式供应商 — 支出小于收益客户就「拉杆更狠」；VC 补贴的创始人自做标注难以规模化。
• 47:43 Anthropic 会否通吃应用层 — 以 Google Plus、Threads 为例，大公司多线出击但败给专注者。
• 49:15 数据泄露与网络安全黄金时代 — 请安全专家、加大投入；网安是对抗式、无上限奖励的绝佳数据品类。
• 51:31 SF 人才战与高能动性文化 — 招聘难但「上了火箭就容易」，最难评估的是能动性与主人翁意识。
• 54:35 快问快答 — 机器人 3 年爆发、$200B 牛市论、给 CS 学生的建议与 Waymo 类比。

详细内容

一、开源冲击与「数据在前沿最值钱」

主持人以「open open open」开场，直指市场对从闭源前沿向开源大迁移的期待，尤其点名 Kimi 最近发布的新模型，追问开源是否吞噬 Mercor 的核心业务。Oswald 的反驳是结构性的：数据在模型能力的前沿最值钱，每个客户都有独特目标，购买评测与训练数据集是为了填补当前模型能力的缺口。开源模型只是抬高了地板——「没人会再买 K3 已经能做的东西」，但只要客户还有想变强的新能力，业务就继续增长。

主持人进一步施压：如果 90% 的企业工作流都能被开源模型完成，Mercor 只服务那 10%、而且前沿还越走越远，是否越来越难做大收入？Oswald 不接受这个前提。他认为「90% 已被覆盖」的计算基于现有需求或用户当下想得到的用例，却漏掉了一整类潜在需求——那些人们还没开始尝试用模型去做的事。他最常举的例子是长周期任务：设立一个采购 agent，几个月全自动运转你的采购团队，你每周才查一次。这类用例根本没被计入「企业工作流已被处理」的判断里，而支撑它们的数据市场正在增长，也是许多领导者正在迁移的方向。

二、企业的恐惧与「充分型 vs 无上限型」

借 Alex Karp（Palantir）关于大企业对与前沿模型商共享数据「极度怀疑」的观点，主持人问 Mercor 观察到多少这种恐惧。Oswald 说取决于工作流对业务的核心程度：HR、采购这类通用流程不那么敏感，企业更愿放到专有闭源模型上；真正敏感的是差异化核心业务，比如律所实际写的备忘录、给客户的建议。主持人点出反讽：敏感数据反而放到（很可能是中国的）开源模型上，HR 却放闭源。Oswald 回应关键在于开源权重在哪里跑——开放权重的美妙之处是推理可以发生在多个地方，你能犯错，但你掌握更多控制权。

被追问对「90/10」分布的真实看法时，Oswald 给出数据：在 Mercor 的 Apex 基准里，顶级模型在长周期工作流上得分接近 50%。但他认为百分比框架本身有问题：一类是「充分型」工作流，做完即止、无法再更好，比如更新 CRM；另一类根本不该用「能不能做」的二元来想，比如法律论证、某种程度上的医疗建议，这些永远可以更好。对后者，百分比框架完全失效，应该转向「持续无上限奖励」的思路。他也认同（并承认对 Mercor 自利）「每家公司都会有专用模型」的未来——专用模型需要企业专属的评测/训练数据来教模型如何在其场景下表现，只是市场规模取决于客户能从专用模型获得多少价值。

三、ROI、Token 支出与「100% 论」

主持人接住 Alex Karp 的第二个论点——企业对 AI 的 ROI 存疑——问是否存在企业 AI 的 ROI 问题。Oswald 明确说当下没有：我们处在探索与实验期，对拿到准确 ROI 有更多耐心；token 价格和性能的走向有很多不同预测，虽已开始零星「拧紧螺丝」，但主导范式仍是「先看看会怎样」，因为一切变化太快，ROI 计算随时可能剧变。

谈到如何在这个周期里权衡性能与预算，Oswald 强调完全取决于用例。他大多在「不惜代价追增长」的超高速公司工作，只要单位经济成立就愿意为增长花钱。给软件工程师用的编码 agent 支出不算 COGS，即便很高也可能带来复利收益；但如果客服 agent token 支出巨大、而被服务客户带来的收入远低于支出，那就是糟糕处境。主持人抛出 Benioff 说 Salesforce 每年在 Anthropic 上花 3 亿美元（约合开发者平均薪资的 3.8%），问未来是 20%、100% 还是更少。Oswald 希望未来能更好地核算 token 支出驱动的产出，指出像 Salesforce 这种规模、不同团队（前向部署 vs R&D）应有不同支出画像，但宏观上比例会升到 3% 以上。当主持人转述 Brandon 说会达到 100%、且 Mercor 今天在 token 上已经花得比薪资多时，Oswald 直接确认「是的，我们确实如此」，并称 100% 听起来合理——因为公司自加入以来人数已增长超 10 倍、收入相应增长，需求高到「钱花不够快去服务所有需求」。

四、产品经理的重塑与一次复盘

Oswald 认为这个范式让 PM 的工作更难：他们努力的方向不是造 10 倍产品面积（那会极度混乱），而是持续对抗、缩减产品面积，找出最可扩展的交互与工作流。由于工程不再是瓶颈，PM 与工程师的比例上升，理解用户工作流、用户需求、以及哪些产品最能驱动收入，成了服务更多需求的新瓶颈。对于「什么造就好 PM」，他给出两点变化：一是不必再学那么多工具——几个编码 agent 就够，团队甚至在从 Figma 转向 AI 原生的设计工具（字幕称 "cloud design"），工具多样性下降；二是所有人都要「向上升级」、更多思考业务影响，因为细枝末节被更快解决，「技能问题几乎消失」，剩下的全是判断力——我把时间花在对的事情上了吗？

被问及事后最后悔做过什么，Oswald 讲了今年的一个教训：标注平台服务了太多异质工作流，交付团队太擅长拿单和交付，导致平台支持了过多人类数据项目类型。他们造了一个极度灵活、能支撑各种研究实验的工具，上面同时跑着数百个项目——管理起来就是混乱。数据形态从 InstructGPT 时代的监督微调，演进到偏好排序，再到各种环境型、多模态项目，格式完全不同。他反思应该更早设护栏、与运营团队更紧密协作定义最佳实践：「客户什么都会要，我们能做，但该不该做？」如果某类工作流没有持续需求，也许不值得投入。如何判断「持续需求」？他坦言这靠领导层判断——保持与多元实验室领导者的密切接触、不断验证假设，Brandon 和运营团队做得很好，但「归根结底是一种猜测」。

五、服务化、FDE 与人才

面对微软设服务部门、Palantir 市值飙升、服务在各家业务中占比上升，Oswald 给出「有点争议」的看法：服务是短期的未来。目前懂得部署 agent、评测 agent、在工程与其他领域 AI-first 的人高度集中在旧金山，这种知识还没扩散出去；一旦扩散，也许就不再需要专门团队去为每个企业搭建 agent，它会变成类似软件工程的岗位职能。主持人引述 Factory 的 Matt「服务只是烂产品的借口」，Oswald 回应这是知识扩散问题——现在人才还不够，每个企业都拥有自己的部署专长是「大概十年的长期变化」。关于 FDE，他认为优秀工程师有很多种，其中「善沟通、直击问题本质并简化」的那类既适合做 FDE、也适合最终成为创始人，这也是 Mercor 有很多校友去创业的原因。他甚至说自己带过的核心团队「只流失给创业」，而且「流失给创业比流失给另一份工作好得多」——尽管这让管理更难，因为团队里全是高能动性、极有野心的人。

在招聘上，后 AI 时代 Mercor 偏向更资深的候选人——他们更快理解什么驱动业务、如何赚更多收入、如何服务好客户；而「会不会用工具」这类偏初级的能力越来越无关。但他澄清并非招资深高管，而是找「甜蜜点」：仍然饥饿、已在目标岗位做过几年、正值巅峰（他认为是 25–35 岁），并把每次招聘都当作高管搜寻来做。面试也变了：他们几乎放弃传统 take-home，只保留一次「自己用 agent 产出一个工件」来验证 AI 熟练度，然后转向大量白板环节，考察实验设计、统计、判断力和系统设计——因为 AI 工具很容易让人卸载思考，他们要确保人还有判断力，而不是「复述 Claude 吐出来的东西」。

六、独立思考、团队结构与供给侧

主持人与 Oswald 都强调保住独立思考的重要性。Oswald 的类比是手机——会「把大脑炸成糊状」，但他自己也大量用手机，关键是学会边界：什么时候刷 reels 可以、什么时候不行。对工作而言，边界在「判断/决策」与「执行」之间——他非常小心，绝不把判断或决策权委托给模型，因为模型会让你以为它在做对的事，你必须始终保持偏执、复查一切；一旦把决策这一「真正的工作」交给模型，你就会丧失那个能力、然后「陷入 psychosis」。

在团队结构上，Mercor 有两大产品线：撮合专家与工作的 marketplace，以及专家登录做标注、运营团队跑项目、客户查看数据与跑评测的标注/评测平台（Studio）。业务有两种模式：只出人（talent only，把专家送到客户处，客户自己跑项目）和托管服务（managed service，用 marketplace 把人送到标注平台，Mercor 跑项目并交付整套数据集）。每条产品线是 2–3 名 PM + 专属数据科学家 + 在两线间弹性调配的设计团队，形成 4–5 人的 pod。他预期 PM:eng 比例随编码 agent 提升而变为「每 PM 更少工程师」，但作为超高速公司必须让团队同步扩张，避免一边长得比另一边快。会议上，产品线每周开一次全员会、拆到各 pod，每个 pod 自己做冲刺规划，周会放在周五较晚以维持问责、防止有人提前过周末。

谈到 marketplace 供给侧为何扩张得如此高效，Oswald 归为三点：优质的专家体验（准时、丰厚、透明地付钱，尊重专家、关心其困难），这是优秀推荐计划的前提，因为没人会把朋友推荐给糟糕的工作；再加上能在世界每个角落找到具备特定技能者的优秀采购团队，帮助填补尖峰需求。他强调秘诀不只是「付最多」——短期冲刺的疯狂奖金留不住人，真正让人回头的是稳定的好体验：大量工作、对未来工作的可见性、技能成长感、可在几份工作间挑选、以及项目运营者良好的沟通（线上工作本就陌生，上来就甩 100 页说明文档会劝退）。至于利润率，他说是「事后」根据成本决定的——如今很多项目的成本大致均分于支付专家和用于合成数据、自动质检的 LLM 支出；产品团队的目标是交付最佳价值和最佳专家体验，定价是另一回事。对「这不是真收入」的质疑，他并不恼火：「我们每周结束时银行里都多出几百万，现金流凶得离谱。」

七、客户集中、RL 环境与竞争格局

关于收入高度集中于前沿实验室这一风险，Oswald 从产品团队角度回答：最大的挑战是下沉市场，让每个企业都能高效跑评测与训练的人类数据项目——企业远多于实验室，这会分散收入。方向是能高效自助跑项目、配备「AI 项目经理」，让为小客户做这类工作更容易；因为为一个实验室跑人类数据项目「极其难」，是需要大量运营人手的白手套服务。难在哪？信息量巨大、边界情况极多且每个边界怎么处理都很关键，需要客户、客户的客户、领域专家与标注专家之间极快的对齐，以及运营团队巨大的偏执来保证每个数据点完美;而且数据类型频繁变化——从监督微调到偏好排序、到基于评分标准的标注、再到跨多模态的 RL 环境。

增长最快的数据类型正是环境（RL environments）。Oswald 说这是 Twitter 上的热词、各家定义不同，但 Mercor 自认是该品类领导者。他把它定义为「你想让 agent 使用的 app 的仿真」，加上代表用户机器上所有数据的丰富初始状态（world，可能成百上千个文件），再加上训练 agent 用这些工具完成有用任务。它复杂在 agent 要与仿真世界交互、初始状态要搭建；其意义在于训练/评测数据越来越接近模型部署时真正看到的东西——比如要学会用 Salesforce，就需要行为完全像 Salesforce 的高保真仿真。这就是当下的前沿，等它足够顺滑，企业也能自己做。

面对「会不会有非捆绑的专业数据供应商世界」，Oswald 说某种程度已经如此，但小玩家往往并不成功。他形容当前像「创始人亲自做标注的作坊工业」：随着标注技能门槛越来越高，很多小创业公司是创始人本人在造数据，实验室很喜欢——因为这是被 VC 补贴、定价严重偏低的活；但它无法规模化，一旦客户想把吞吐量、项目数放大 10 倍就撑不住。这反而印证了方向：需要更高技能的专家、世界上最好的人来做标注。对于「客户同时向多家买数据」，他说当然做大量竞争情报，且认为健康的「供应商比拼」会逼 Mercor 变更好——「只要 Mercor 赢就行」。

被问 Anthropic 是否会通吃 Legora（法律）乃至 Figma 所在的应用层，Oswald 借历史类比：Google、微软也顺带做气候、癌症，但那不是主业，多线出击却仍被专注该市场的对手击败——他举 Google Plus、Threads 为例。大公司会做新赌注、多元化，但输给对市场有强烈专注的公司。至于去年的数据泄露事件，他坦言自己不是安全专家，改变主要是请了很多安全专家并听他们的、加大投入。谈网络安全，他认为很可能进入黄金时代：网安是对抗式、类似 AlphaGo 的攻防局面，有无上限奖励、领域持续移动，因此永远不会有「90% 已完成」——目标一直在移动；Mercor 看到对网络防御能力数据的需求快速上升。

八、SF 人才战、文化与快问快答

Oswald 承认旧金山的人才战确实残酷、招聘与留人都难，但「上了火箭就容易」——难的是做对「招谁」的决定。他说面试中最难评估的是能动性与主人翁意识；文化上 Mercor 看重高能动性、高绩效、高主人翁，宁愿招「真正在乎的人」，因为在乎比圆滑更难教——性格可以改善、协作可以磨合，但让人「真的在乎」很难。他还提到刚在加拿大 Tofino 办了一次标注团队 offsite，冲浪、漂浮桑拿，认为这种户外活动对团队很好。

快问快答里的关键点：过去 12 个月他改变最多的看法是环境市场——起初觉得交付太复杂、不会规模化，结果需求极高、硬是做通了。给学 CS 的「弟弟」的建议是尽快拿到真正的实习，最好加入旧金山一家快速成长、处于前沿、比 10 人稍大的公司（过滤掉走不远的公司）；他说 Mercor 现在约 500 人但「文化上仍是创业公司」——偏执、常驻办公室、动作快。为 Mercor 描绘 2000 亿美元牛市论时，他说 Mercor 本质是「技术赋能的服务公司」，评测与训练数据是当下模型性能的首要瓶颈，评测集既是「你到底想要什么」的 PRD，也是更好性能的优化目标；只要更好的模型对经济有价值，就会有对评测/训练集的需求，再加上正在增长的企业 agent 部署业务。三年后他最看好的新收入线是真实世界的物理数据——机器人，其数据市场相对 GenAI 仍很早期。至于机器人「ChatGPT 时刻」，他用自动驾驶类比：Cruise 在旧金山载着安全员开了很多年，如今他坐 Waymo 多过 Uber；机器人可能更像 Waymo/robotaxi 的渐进式突破，而非一夜爆发的 ChatGPT 时刻，因为「扩展物理世界比扩展软件难得多」。

金句

数据在模型能力的前沿最值钱……开源模型只是意味着，没人会再为 K3 已经能做的东西付钱。 —— Oswald Nitski 1:31

我们不该用「能不能做」的二元去想，应该转向持续的、无上限的奖励。 —— Oswald Nitski 5:21

我们每周结束时银行里都多出几百万……现金流凶得离谱。 —— Oswald Nitski 37:41

别把你的决策权、你真正的工作交给模型，否则你会丧失那个能力，然后陷入 psychosis。 —— Oswald Nitski 26:59

流失一个人去创业，比流失给另一份工作要好得多。 —— Oswald Nitski 21:32

只要花在数据上的钱少于它们能拿到的收入，客户就想把杠杆拉得越来越狠。 —— Oswald Nitski 43:50

提到的书·产品·人物

• Mercor（公司）：本期嘉宾所在的人类数据公司，为前沿实验室提供评测与训练数据，含 marketplace 与标注/评测平台两条产品线。
• Oswald Nitski（人物）：Mercor 首席产品官，爱沙尼亚裔、在加拿大长大、多伦多求学，本期主角。
• Brandon（人物）：Mercor 相关领导者，被多次引用其对 token 支出与「持续需求」判断的观点。
• Kimi K3（产品）：被提及的开源模型，作为「开源抬高地板」的例证。
• Apex（产品/基准）：Mercor 的基准，显示顶级模型在长周期工作流约 50%。
• Alex Karp / Palantir（人物/公司）：其关于企业对前沿实验室怀疑、以及 ROI 存疑的观点成为本期讨论起点；Palantir 也作为服务化崛起的例子。
• Marc Benioff / Salesforce（人物/公司）：Salesforce 每年花 3 亿美元买 Anthropic（约合开发者薪资 3.8%）。
• Anthropic / Claude（公司/产品）：企业 token 支出的主要对象；也是「大公司会否通吃应用层」的讨论主体。
• ClickHouse（Aaron）（公司/人物）：把支出提升 6 倍以保持在前沿的例子。
• Legora（公司）：主持人投资的法律 AI 公司，被用来讨论 Anthropic 的竞争威胁。
• Filecoin（Lyn Qual）（公司/人物）：主张「每家公司都会有专用模型」的观点来源。
• Factory（Matt）（公司/人物）：提出「服务只是烂产品的借口」的对立观点。
• Surge（公司）：数据标注领域竞争对手，被形容「很神秘、更少抄袭」。
• Figma / "cloud design"（产品）：团队正从 Figma 转向 AI 原生设计工具的趋势。
• Waymo / Cruise / Uber（公司/产品）：用自动驾驶的渐进式扩张类比机器人的落地路径。
• Google Plus / Threads（产品）：大公司多线出击却败给专注者的历史例证。

适合谁听

关注 AI 数据基础设施、评测/训练数据生意、以及 AI 时代产品与团队管理的创业者、投资人与产品负责人。