← 顶级AI播客总结
20VC

AI 应用层的 token 宿醉

OpenAI vs Anthropic vs Open-Source | Token Maxing, AI Hangovers & The Coming ROI Reckoning
节目时长 85 分钟 阅读约 12 分钟
▶ 在 YouTube 收看原片
AI 应用层的 token 宿醉 插画

Factory 创始人 Matan Grinberg 解释企业 AI 从狂热试用走向 ROI、路由和组织重构。

核心要点

  • ROI 转向:企业 AI 已从董事会催促、全员 token maxing,进入看账单的 hangover 阶段;下一步是按任务、团队和业务指标精细分配 token。
  • 开源反击:Matan 估计当前用 frontier model 的任务中 80-90% 可由开源模型完成,但剩下 10-20% 的规划和决策 token 价值最高。
  • 应用层价值:模型、应用、基础设施都在试图 commoditize 其他层;Factory 的防守点是模型无关、按任务路由,在成本、速度、质量间做选择。
  • 团队重构:AI 给 load-bearing individuals 更大杠杆,工程师不再只是代码保管员,而要端到端负责客户行为、销售启用和产品结果。
  • 工厂隐喻:未来工程师更像设计 Tesla 工厂的人,不直接拧每颗螺丝,而是搭建 agent 生产软件的脚手架、标准和反馈回路。
  • 安全缺口:AI 生成代码正在指数级增长,安全投入没有同步增长;未来几年可能出现重大事故,且企业未必愿承认 AI 参与。
  • 多模型未来:Matan 过去担心一两家公司垄断 frontier,现在改为相信至少四家模型会接近领先,这是他认为对人类更好的结局。
AI 应用层的 token 宿醉 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

从生产率到资源配置

Harry Stebbings 开场追问 AI 是否会真正推高 GDP。Matan 的回答是肯定的,但他把问题拆得更具体:企业本质上是解决问题的组织,AI 会让同样一组人解决更多问题,或让更少人解决原来那批问题。

关键不在单个工具演示,而在资源配置何时重排。企业必须决定:提高野心、解决更大问题,还是缩小团队、提高效率。Matan 不愿简单预测团队一定更小,但强调每家公司都要回到“真正影响业务的输出指标”。

他批评过去软件组织过度围绕中间指标运转,例如一个季度发了几个功能。AI 让人重新问:这些功能是否推动客户满意度、收入、市场份额?token、美元和 headcount 都应服务于核心业务。

应用层、模型层、基础设施层互相 commoditize

当 Harry 提到未来 12 个月是否最利好 AI infrastructure,Matan 明确反对“一层吃掉所有价值”的静态判断。他认为价值归属是 time dependent:某段时间基础设施有定价权,另一段时间模型或应用有定价权。

他用微软组织架构 meme 形容现在的 AI 产业:每一层都把枪指向别人。应用公司希望模型供应商在价格、速度和质量上相互竞争;模型公司希望应用变得容易构建,价值回到模型;基础设施公司也有自己的扩张逻辑。

Factory 的熊案是某一个模型显著领先所有其他模型,企业因此全面押注单一供应商。但 Matan 认为现实更可能是多模型接近:有的擅长 review,有的擅长测试,有的擅长 Python,领先位置每周波动。

token maxing 之后的 hangover

Matan 把企业 AI 采用分成三阶段。第一阶段是董事会问 CEO“你的 AI strategy 是什么”;第二阶段是 AI at all costs,甚至把 token 使用量放进绩效评估;第三阶段是 hangover,大家看到账单后开始问 ROI。

他给出一个 CIO 的真实案例:公司每月花数十万美元让员工用 Opus 4.8 问“今天怎么样”“我吃的食物有多少宏量营养”“天气如何”。这些任务根本不需要 frontier human intelligence。

Uber 每人 1500 美元预算的新闻,被他视为公开版的普遍现象。Factory 自己也曾看到客户用量疯狂增长后要求 token limits,后来学会主动和客户讨论哪些代码库、哪些团队、哪些任务值得花 token。未来不是每个工程师一个统一比例,而是团队和个人级别的资源策略。

开源模型与 frontier 模型的分工

Harry 追问:如果 80-90% frontier 任务可由开源模型完成,这不是 Cursor、Claude Code 等工具的熊案吗?Matan 的回答是,不一定。10-20% 的 token 可能是最重要的 token,类似公司中少数战略决策小时决定命运。

他的分工是:planning 往往需要 frontier model,implementation 常常可以交给开源模型。企业需要在 cost、quality、speed 三角里为每个任务选择合适 intelligence level,而不是出于自尊认为自己的工作“只有 frontier 能做”。

这也解释了应用层路由的重要性。企业不可能每周为新模型走一遍采购和安全流程,也不该要求工程师同时掌握十个工具。应用层如果足够模型无关,就能把复杂度藏起来,并迫使模型供应商持续竞争。

工程师角色:从写代码到设计软件工厂

Matan 不喜欢简单说“10x engineer”或“100x engineer”,他更看重 load-bearing individuals:拿掉这个人,组织是否会坍塌。AI 会把这些人进一步 lever up,而不会平均提升所有人。

他认为工程师的未来不是纯 prompt operator,而是 full-stack ownership:理解客户行为,设计能改变行为的产品,帮助销售正确演示,推动客户变得更 agent native。那些只会记语法、刷竞赛速度的技能会贬值。

Factory 这个名字来自他的核心隐喻:未来软件开发不是人类一行行写代码,而是工程师设计生产软件的工厂。就像 Tesla 工厂里机械臂执行生产,真正高价值的人类工作是设计流程、标准、反馈、CI/CD、lint、文档和 agent 能运行的远程环境。

销售、营销也是产品的一部分

Matan 认为 Silicon Valley 常有一种 fallacy:研究最神圣,工程其次,销售和营销是 dirty stuff。他强烈反对。Factory 的产品是从第一次听说公司,到第十年续约仍然满意的完整旅程;软件只是其中重要一环。

因此 Factory 让销售和工程混坐,销售 close deal 时工程师说“我们 close 了”,工程师 ship feature 时销售说“我们 ship 了”。他认为这在 Bay Area 和 AI coding 圈非常反常,但将成为长期竞争力。

在企业销售上,他给年轻时的自己最大建议是:面对面非常重要,但不要“去卖东西”。要带着真诚好奇理解客户的工程流程、官僚噩梦和实际痛点,再判断自己的软件是否能解决问题。

创业故事:从 string theory 到 Sequoia

Matan 从 12 岁起沉迷数学和物理,因为几何老师让他重修,他用整个暑假自学从 Algebra 2 到微分方程、线性代数等教材,并跳过相关课程。后来他进入 Princeton,成为 Juan Maldacena 的本科合作者,再到 Berkeley 攻读 PhD。

在 Berkeley,他意识到自己可能只是因为“难”和“有人说你不行”而追逐 string theory。教本科物理课、接触 CS、学习 program synthesis 后,他被“代码生成代码”这一问题吸引,逐渐判断解决路径在工业界而不是学术界。

他读 Peter Thiel 的 Zero to One、看 YC 视频,并给一位从理论物理转 VC 的 Sequoia 投资人发邮件。一次原本 30 分钟的会面变成三小时散步,对方建议他退学去创业。第二天他在 hackathon 遇到后来联合创始人 Eno,72 小时做出 demo,随后获得 Sequoia 100 万美元投资,估值 500 万 post。

市场结构、政策与安全

谈到 coding agent 市场,Matan 认为消费者最佳状态是模型和应用分离。如果模型供应商直接提供应用,API 收入激励会推动更多 token 消耗,而不一定推动效率。企业 CIO 已被云厂商锁定经验教育过,因此会更警惕单模型押注。

对于 Lovable、Replit 一类 non-developer app builder,他认为若服务销售、营销、客服团队生成 demo、内部页面和物料,定位有价值;但如果让非技术人员随意写企业核心代码,权限、数据库和安全控制最终还是会回到工程组织。

安全是他最明确的警告之一:AI 生成代码正在指数级增长,安全努力没有同速增长。未来几年可能出现重大事件,而且即便发生,公司也未必愿意公开承认 AI 参与。开源中国模型方面,他区分“把数据发到境外”和“在本地托管模型”,认为后者可接受,但美国没有 frontier open model 让他觉得尴尬。

金句

未来不是没人能建某个软件,而是你是否值得亲自去建。—— Matan Grinberg 8:26
每一层都在试图 commoditize 不是自己的那一层。—— Matan Grinberg 9:57
企业 AI 的第三阶段是 hangover:账单来了,却没人知道 ROI。—— Matan Grinberg 16:58
如果你用 FTE 才能让产品工作,那你有的是糟糕产品,不是企业销售问题。—— Matan Grinberg 74:33
未来工程师会建造生产软件的工厂,而不是亲手写下所有代码。—— Matan Grinberg 39:20
没有传奇公司拥有糟糕的销售或营销团队。—— Matan Grinberg 27:00

提到的书·产品·人物

适合谁听

适合关注 AI 编码工具、企业 AI 预算、模型路由、应用层护城河和 AI 时代组织设计的创业者、投资人和技术负责人。

← 返回全部观看原片 ↗