从烧光 1200 万美元到冲刺 AGI：Poolside 的开源豪赌

核心要点

• 1200 万美元的失败：2015 年读 Karpathy 文章后创办 source{d}，用 RNN/LSTM 给代码建模，四五年烧掉投资人 1200 万美元、40 人团队后失败，错在没坚持 scaling。
• 宁要 100 家而非 5 家：即便自己是那 5 家之一，他也宁愿活在有 100 家基础模型公司的世界；开源权重与研究是让"第 100 家"能存在的最小且最有意义的贡献。
• 模型工厂即流水线：把模型构建当成从原始数据到 RL 的端到端工业流程，优化目标是"想法→可信实验结果"的墙钟时间；70 名研究员+35 工程师每月跑 1~2 万次实验。
• Laguna S 靠行为取胜：118B 总参、8B 激活，能塞进 DGX Spark 跑 30~40 token/秒，独立解出 Erdos 397；应用研究联合负责人 Peng 指出增益来自更强的持续性、验证与不轻易宣告成功，而非原始智能。
• 知识工作有最优尺寸：他认为知识工作存在一个模型尺寸峰值，可能就在 1~5~10 万亿参数，超过后更大模型的投资回报下降，这是开源与商品化能取胜的理论依据。
• MCP 和工具很蠢：与其在系统提示里塞 50 个工具，不如给模型一个装好二进制的虚拟机让它直接写代码；他预测 12 个月内不会再见到塞满 20~40 个工具的系统提示。
• 反对现在限制开源：当前模型能力还没到需要限制开源的程度，任何单一公司做单边决定都危险；应交给政府与民主机制，并类比香烟广告禁令反而巩固了寡头。

章节时间轴

• 0:00 开场暴论：MCP 很蠢 — Kant 抛出核心观点，模型应在虚拟机里直接写代码，而非通过 MCP 和工具调用这层中间层。
• 2:18 从 Karpathy 文章到 source{d} — 讲述 2015 年因 RNN 文章入行、创办全开源公司做"代码机器学习"、四五年后失败的经历。
• 5:24 Poolside 的两个前提与开源转向 — 创立时押注能力持续复利 + RL 是最大驱动力；今年初重拾开源话题，因担心世界走向"三四家公司垄断智能"的反乌托邦。
• 12:19 美国公司、全球远程、从零造轮子 — 澄清一直是美国公司、刻意不在湾区招人；讲述从头写训练代码、花三周排查 epsilon 优化器 bug 的故事。
• 17:43 模型工厂：90% 是工程 — 把训练视为工业化端到端流程，引入顶级分布式系统工程师，类比富士康与 SpaceX 工厂。
• 25:26 流式数据与不可变数据层 — 拒绝"打包数据集再拷到集群"，改为流式喂数据 + blender 配比服务 + 不可变数据层，实现完美可复现。
• 34:37 建模型没那么玄 — 95% 的工作就是改进数据或提升算力效率，是工程而非只有诺奖物理学家能做的魔法；工程师能在半年内成长为 RL 研究员。
• 37:40 Laguna S 与"行为>智能" — 详解 118B/8B 模型规格与 Peng 的关键判断，指出持续性等行为对成功比原始智能更有预测力。
• 44:35 预训练没结束、RL 前移 — 认为 RL 会越来越早进入预训练，要把网页变成"教模型思考"而非仅预测下一 token；distillation 和 environments 是"毒品"。
• 70:39 MCP 之争与写代码范式 — 展开为何工具调用是错误抽象，模型在 RL 中"想自由"，会用 if/for 写脚本而非串联工具调用。
• 84:28 5 亿美元融资与投资人分野 — 复盘一年半前融 5 亿的心路，指出投资人分歧在于是否相信"智能寡头"能被打破。
• 88:18 监管、开源与民主 — 主张现在不该限制开源模型，反对单一公司单边决策，用香烟广告禁令类比监管如何巩固寡头。
• [107:29] 工程效率与招聘看 agency — 用"交付价值的前置时间"衡量效率，招聘最看重 agency（能动性），并谈如何对齐高能动性团队。

详细内容

一、两次创业：从 source{d} 的失败到 Poolside 的信念

Kant 把自己进入这个领域归功于 Andrej Karpathy 2015 年的文章《The Unreasonable Effectiveness of Recurrent Neural Networks》。读完后他连夜把当时的创业方向转向 RNN、LSTM 和后来的 Transformer，去做"给代码写模型"。他建立了一个"过分乐观"的信念：神经网络应该能泛化到一切，语言能编码大量智能，包括写代码的能力。

于是有了 source{d}——一家全开源公司，做他们当时称为"代码上的机器学习"。团队约 40 人，做到 2019 年底，烧掉投资人约 1200 万美元。他坦承这是"职业生涯最大的失败"。事后看方向是对的，错就错在没有坚持 scaling up。当年 scaling laws 远不像今天这么显而易见，他对 Google、OpenAI 等坚持下来的人心存敬意。失败后他一度两年没再看语言模型，直到 ChatGPT 出现，老同事翻出他的旧演讲稿来"平反"。

创立 Poolside 时有两个前提：一是这项技术的能力会持续复利（三年多前多数人还在争论模型是不是"随机鹦鹉"）；二是强化学习将是 LLM 能力的最大驱动力（当时 OpenAI、Google、Anthropic 都不持这一方向）。所以他们被人看轻，只能埋头从论文开始自己写代码、从零建立认知。

二、为何重拾开源：宁要 100 家公司的世界

Poolside 起初根本没想开源，网站早期表述很直白：要到达 AGI、支持一个富足的世界、成为第一个到达的公司。但今年初，Kant 和联合创始人 Jason 重新捡起开源话题，因为世界正走向让他不安的方向。

他用一个反复讲的类比解释：如果回到 2015、2016 年从书架上抽一本科幻小说，写 2035 年实现 AGI，故事会有"大家摸索"的第一章、"ChatGPT 问世"的一章，然后来到世界的岔路口——而世界选的那条路是"三四家公司创造未来所有的智能"。在他看来这是反乌托邦而非乌托邦，而他是个乌托邦主义者。

他强调现在做这个决定相对容易，因为 Poolside 还没到前沿；一旦到了前沿、投入了太多资本和预期，就很难再改主意。核心归结为一句话：他宁愿活在有 100 家基础模型公司的世界，而非只有 5 家的世界，即便自己就是那 5 家之一。 而他们能做的最小且最有意义的贡献，就是现在开放研究和权重。他特别强调分享研究比给权重更有意义——光给权重别人也无法复现你的做法。

三、模型工厂：把训练变成工业流水线

Kant 的核心工程观是"建模型本质上 90% 是工程"——看看研究员时间都花在哪，都在写代码、看数据。三年前行业状态还是 bash 脚本、slurm 和拼凑的意大利面代码。Poolside 把建模型看成一条工业化的端到端流程：从原始数据（网页等）经过滤、清洗、转换、分析，到大规模分布式训练，再到 mid-training、post-training、强化学习，每一环都有自己的机器。

关键决策是从第零天就把顶级分布式系统工程师纳入研究流程，而非事后补救。这就是"模型工厂"，从最初几个组件长到今天数千个组件。他类比：如果你从富士康早期一路参与，就能重建富士康，因为你见过每一个导致这套系统的决策；而你我今天走进富士康没有任何机会复制它。工厂优化的核心指标是"一个想法从研究员到可信实验结果、再进入下一次训练"的速度。

成果是惊人的迭代速度：Laguna XS2 从预训练开始到发布是 5 周，本期这个 S 模型是 8 周；而且发布次日就用释放出的算力开始训练更大的 Laguna M。他把模型看作"某人流程的产物"，而不是一个独立的东西，类比 SpaceX：第一枚火箭最难，但真正难的是造工厂，之后火箭就一枚接一枚下线。可靠性也惊人——Laguna S 训练期间零 on-call 事件，整年几乎没有需要半夜爬起来的重大事故（唯一例外是新模型启动头 6 小时常因配置错误需要干预，但都在工作时段）。

一个意外收获是：当你有了 API 和工程系统都很好的端到端模型工厂，它天然适合 agent。如今 Poolside 研究员屏幕上默认跑着各种 agent 在写代码、启动任务、评估模型结果，人还在驾驶座上出想法和调试，但这已经是 RSI（递归自我改进）的雏形。

四、技术报告里的原则：流式数据与不可变数据层

主持人翻到技术报告第二页就意识到，这不是一份"跑分+训练 token 数"的报告，而是把从定制软件、agent 如何调用训练代码、预训练数据配比到 post-training 全都摊开的实操手册。

Kant 举的最爱例子是流式数据。很多基础模型公司的做法是：准备好数据集→打包→拷到训练集群→分发到各节点→开始训练。三年前 Poolside 就觉得这没道理——一旦要重新物化数据集、改点东西，就要重新打包、tokenize、搬运、分发，浪费大量时间。于是他们做"just-in-time"的流式喂数据。一个训练任务无论大小，每秒消耗的 token 从数据搬运角度看其实不多。他们有个叫 blender 的服务，一次 run 只需配置："这个源 20%、那个源 10%、重复几个 epoch、如何 shuffle"，训练任务可以在其余数据还在物化时就开始。

底层数据被当成不可变数据层（immutable data layer），配合"实验即代码"，意味着可以精确回溯到"哪个 token 在哪个游标、哪个版本的代码下进入训练"，实现完美可复现——他现在还能复现两年前的 run。他承认头一年他们理解到工程要做好，却没理解到这一切是为了支撑严谨的科学过程；早期很多是 YOLO 想法、YOLO run，是从 Yandex 来的应用研究联合负责人 Nikolai 带来了更多严谨性，让每个实验都成为真正的 ablation。

五、Laguna S：行为比原始智能更重要

Kant 说这是第一个开始对他们自己工作有实质贡献的模型——虽然还不是 SOTA。它 118B 总参、8B 激活，非常稀疏，是 XS 架构的放大版，采用经典的 3:1 滑动窗口注意力与全局注意力之比。它能塞进 DGX Spark，在 Spark 上跑 30~40 token/秒；能独立解出 Erdos 397，能完成复杂编程任务。他举例当天早上让它在 Mac 上不用任何外部库写一个 Wi-Fi 扫描器，模型在没有联网的情况下坚持不懈地弄懂核心 WLAN API。他说过去 10 天每天花 8~10 小时用这个模型，甚至在 11 小时飞行里花 10 小时读它的 trajectory。

他引用应用研究联合负责人 Peng 7 月 5 日周日发来的话（已烙进他脑子里）：Laguna S 的增益很多不来自更多智能，而来自不同的行为——更多验证、更少想当然、不过早宣告胜利、更强的持续性；而这些对成功的预测力比原始智能更强，对人也某种程度如此。

这引出他对模型尺寸的重新思考。今天模型主要用于知识工作（约占全球经济 25%、25 万亿美元）。真正的科学突破（如爱因斯坦提出广义相对论）确实与"把别人不会联系的想法联系起来"这种更高智能相关，更大模型在医学、生物等领域也确实能串联更多线索。但对多数知识工作（包括写软件），让人做得好的其实是持续性——遇到问题会回溯、去查文档、试五种方法，而不是把三个跨领域想法拼在一起。既然 Laguna S 这种相对小的模型能靠行为变得远超预期，那就说明存在一个"知识工作的最优模型尺寸峰值"。他原以为峰值很远，现在觉得可能就在 1~5~10 万亿参数。这是商品化和开源能取胜的论据。但他反复加星号：这绝不代表反对 scaling——只做小模型之王是自欺欺人的 copout，最终仍须把模型 scale 到与竞争对手一样大。Laguna S 的能力提升"完全来自 post-training"。

六、预训练没结束：RL 前移与"网页里的金矿"

被问到预训练是否已经做完，Kant 明确说没有。每上一个数量级的规模都会带来新的工程挑战。他有个不太主流的观点：强化学习会越来越早地进入预训练。今天的 mid-training 只是一个"很笨的两阶段课程"——理想是从第 0 个 token 到第 30~40 万亿 token 有一条最优课程，但算力不够去 ablate 出完美课程。他还认为 mid-training 之所以存在，一部分是组织原因（有了 mid-training 团队），而模型工厂想避免这种由团队划分导致的阶段割裂，追求更连续的谱系。

他认为最大的机会在于"把网页变成教模型思考的材料"，而不只是 next-token prediction。网页大概编码了人类知识的总和，但质量方差极大。Poolside 已在这方向研究了数年（这块他们相对不那么开放）。他把 distillation 和 environments 称为行业的"毒品"——好用、让人上瘾、让模型变好，但他怀疑通往 AGI 的路不该是无止境地堆 environments（"难道要为组装家具专门造一个 environment 吗？"），更希望从网页里泛化出更多。他明确认为"只靠 next-token prediction 的预训练不够"。

七、Harness、"MCP 很蠢"与写代码范式

Poolside 有自己的 pool CLI 和 harness，非常精简——大约 6 个工具（shell、shell kill、shell wait、write、fetch web、bash 之类）。他们做少量"多 harness 打磨"（polishing），让模型在别人的 harness（open code、kilo code、Crush、Hermes 等）里也能有正确行为，但这不是能力的主要来源。他坦言自家 harness 里模型一定表现更好，因为 RL 算力都投在自己最理解的 harness 上；而真正在 harness 上下功夫的人，理应能用他们的模型超过他们自己——这没问题。

他抛出一个"强观点"：MCP 和工具调用很蠢（尽管 Poolside 支持 MCP 和工具，这个模型还首次支持并行工具调用）。理由是：做越来越长程、复杂的任务时，你要与数据源和虚拟机上的东西交互，而 MCP/工具调用是硬塞进去的中间层。更好的方式是给模型一个装好二进制、有自己代码库和可写内存文件夹的容器，让它直接写代码——用 if 语句、for 循环、条件判断，而不是把 50 个工具塞进系统提示里串联调用。他预测 12 个月内不会再见到塞满 20~40 个工具的系统提示。主持人对此"无异议"。

关于模态，Poolside 目前没有视觉理解，也没有音频，这是刻意的聚焦（"戴眼罩的马")。他认为视觉理解居中——既推进能力也有当下价值，已经在做；而音频对逼近 AGI 帮助不大，可能很久都不碰。他和 Nikolai 多年争论"推理应在 latent space 还是在 token 里"，但三人都认同语言是编码知识/智能极其稠密的方式：一篇 20~30 页物理论文里编码的智能密度，远高于同等"比特"的视频。算力和人力有限时，投资语言是更划算的。

八、融资、监管与 Nvidia

Poolside 一年半前融了 5 亿美元。Kant 回忆当时多数投资人对话还停留在解释"这些模型不是随机鹦鹉、会继续进步"。他见证世界从"OpenAI 会通吃、别人建不成公司"（当年 Anthropic 融 5 亿都很艰难）走到今天。今天投资人的分野不再是产品市场契合度，而是：谁相信会形成"智能寡头"，以及谁相信这个寡头能被其他公司打破。他认为"只会有两个玩家"的想法非常短视，年初持这种看法的人比现在多得多。

监管上他态度鲜明：当前模型能力还没到该限制开源的程度，现在限制会伤害创新。他反对任何单一公司做单边决策（那是权力向少数人集中、缺乏制衡，历史上从无好结果），主张交给政府和民主机制去权衡，并区分"误用风险"与"末日情景"。他用香烟广告禁令类比——那本是好事，却客观上巩固了香烟公司的寡头地位，因为新玩家再也无法竞争。被问到更反感 Anthropic 还是白宫说"不许用我来开发基础模型"，他没直接站队，而是强调应就"具体能力"达成国内和国际共识，而非用"模型可不可用"这种非黑即白的大话。他还抛出一个观点：在这里比美国政府更有权力的其实是 Nvidia（再往下是 TSMC），因为谁拿到算力分配谁就赢；但他也为 Nvidia 辩护——正是它让这波进展成为可能，且它促进竞争，与"政府用监管禁止别人建基础模型"有本质区别。

九、硬件、RL 瓶颈与工程效率

Poolside 目前是"10k H200 集群"的相对小公司，Laguna S 用 FP8 训练，他对 NVFP4 训练很期待（但还在 Hopper 上所以暂不划算），也看好三元（ternary）等极低精度训练。他指出当前最大的墙钟瓶颈是 RL 时间——因为 RL 受 batch size 约束（任务数量有限，不像预训练能用整个网页把 batch 撑大），无法简单靠加 GPU 来 scale。他很期待把推理里已出现的 prefill/decode 分离（用通用 GPU + 专用芯片如 Groq LPU 组合）带到 RL 训练中，从而在墙钟时间上更高效——因为"这是一场以日历时间而非 GPU 数量衡量的竞赛"。

新的 Laguna M 昨天开始训练，是一次 39 天的预训练 run，比上一代 M 大得多（旧 M 约 200B 将被弃用）。他强调 DeepSeek 时刻让人误以为"训练很便宜"，但训练 run 本身其实是最不起眼的一环（就像运动员说比赛只是比赛，真正的功夫在准备），真正贵的是之前所有的 R&D、基础设施和数据。他们也刻意保持高频从零训练模型的节奏：过去六个月训一个大模型，改动堆积成"一锅汤"分不清哪个成分带来了结果；训得越勤，越能理解是什么带来了提升。他们不做蒸馏，因为这些模型对 Poolside 是"双用途"——既是检验模型工厂是否进步的载体，也是推向世界的产品。

谈到工程效率，Kant 说这是"黄金时代"——一个想法可以让 agent 通宵做出来。衡量标准仍是"从识别出有价值的东西到交付给用户的前置时间"（lead time），代码量、PR、review 都只是这个滞后指标的领先指标。AI 原生公司不再按前 LLM 时代那样设计工程组织，而是让单个构建者尽可能贴近客户和交付。招聘上他最看重 agency（能动性）——在 AI 越来越强的时代这是最重要的品质，且可从一个人过去的经历中看出来。他也谈到对齐高能动性团队很难：要靠共同目标和共同边界（"我们不做多模态、我们专注 RL"），在人加入前就讲清楚，给足自由的同时划出不去的车道，因为"创新源于约束"。

金句

我宁愿活在一个有 100 家基础模型公司的世界，而不是只有 5 家的世界——即便我就是那 5 家之一。 —— Eiso Kant 9:15

模型应该是某个人流程的产物，而不该是一个独立的东西本身。 —— Eiso Kant 21:37

Laguna S 的增益很多不来自更多的智能，而来自不同的行为——更多验证、不轻易想当然、不过早宣告胜利、更强的持续性。 —— Peng（Kant 转述）38:25

我认为 MCP 和工具调用很蠢……我想让模型拥有尽可能多的自由度，就让它自由地去做有能力的事。 —— Eiso Kant 70:39

训练 run 本身是个非常反高潮的事件；就像运动员说的，功夫全在准备和进健身房，比赛只是比赛。 —— Eiso Kant 80:38

民主是最糟糕的组织形式——除了所有其他我们试过的形式之外。 —— Eiso Kant（引丘吉尔）91:24

提到的书·产品·人物

• Andrej Karpathy（人物）：其 2015 年文章《The Unreasonable Effectiveness of Recurrent Neural Networks》直接促使 Kant 转向语言模型创业；"auto research""cognitive core"等提法也被归于他。
• source{d}（公司）：Kant 上一家全开源创业公司，做"代码上的机器学习"，烧掉 1200 万美元后失败。
• Poolside AI（公司）：本期主角，Kant 与 Jason、CEO Margarita 共同创办的基础模型公司。
• Laguna XS / S / M / L / XL（产品）：Poolside 的模型系列；S 为 118B 总参、8B 激活；M 于昨日开始 39 天预训练。
• DGX Spark（产品）：能装下并运行 Laguna S 的英伟达小型设备，Kant 对其"情有独钟"。
• 模型工厂 / blender（产品/系统）：Poolside 端到端训练流水线及其数据配比服务。
• Peng、Nikolai（人物）：Poolside 应用研究的两位联合负责人；Nikolai 来自 Yandex，带来科学严谨性。
• Thinking Machines（Thinky）（公司）：当天发布约万亿参数新模型，音频 SOTA、全从零训练；Kant 在部分基准上超过它。
• DeepSeek、Zhipu（Z.ai，GLM 5.2）、Moonshot（Kimi/Mulan）、Qwen/Gemma（公司/产品）：被点名的中国及开源实验室，Kant 盛赞其开放研究。
• Anthropic / OpenAI / Google、Fable、GPT-5.6（公司/产品）：作为前沿对照被提及；他认可 Anthropic 专注扩展能力的路线。
• open code、Crush、Kilo Code、Hermes、Pi、nano claw（产品）：各种 agent harness，Kant 称赞 Pi 的极简风格与自家相近。
• Prefect / Dexter、Spark、AWS（内部自建）（产品）:技术报告与流水线中提到的工具与基础设施。
• artificial analysis、Vals、AA（公司）：第三方模型评测机构，Kant 呼吁多创办评测公司。
• NVFP4、FP8、ternary、Nemotron、bonsai（技术/产品）：低精度训练相关的方案与工作。

适合谁听

想深入理解基础模型公司如何工程化、开源如何在商业上自洽，以及 AI 监管与模型尺寸走向的从业者、创业者与投资人。