← 顶级AI播客总结
Latent Space

OpenRouter:为什么“一个模型通吃”押错了

Why “One Model Wins” Was the Wrong Bet — OpenRouter’s Alex Atallah & AMP's Anjney Midha
节目时长 83 分钟 阅读约 14 分钟
▶ 在 YouTube 收看原片

从 Alpaca 到每日超 10 万亿 token,OpenRouter 证明中立路由层不是 wrapper,而是 AI 经济的市场与防线。

核心要点

  • 10万亿/日:OpenRouter 每天处理逾 10 万亿 token,周增约 9%;Claude 3.5 Sonnet、开放权重降价与 OpenClaw 等依次推动增长。
  • 600美元信号:Alpaca 用约 600 美元微调 Llama 便接近早期 ChatGPT,证明数据可压缩成模型服务,也预示模型供给不会只剩一个实验室。
  • 不是薄包装:生产级整合多家 API、统一价格与可用性、模型发现、首日 endpoint、流量分发和中立营销需要大量工程与社区工作,“wrapper”只描述了表面接口。
  • 专注换来信任:OpenRouter 不做 fine-tuning、memory、skills 与 sandbox,专注中立市场和开发者体验;品牌让用户知道谁优先解决其问题。
  • 融合重启:2024 年最强模型领先太多,融合结果常不如第一名;到 2026 年多个前沿模型能力接近但思路不同,融合架构方案才稳定优于单模型输出。
  • 欺诈月增10倍:平台一个月拦截的异常美元量是前月十倍,风险已从盗刷扩展到账户劫持、推理转售、失控 agent 与企业被入侵,通用推理网关天然是攻击目标。
  • 5万亿经济:嘉宾预计 token 流五年或达 5 万亿美元、十年达 10 万亿美元;未来攻击者也会是 agent,两家公司的风控与推理可见性因此互补。

章节时间轴

详细内容

一、Alpaca 让模型市场从假设变成必然

2022 年底,OpenAI 几乎是唯一成熟选择。Llama 在 2023 年初出现后虽在部分 benchmark 上胜过 GPT-3,却还不是好用的聊天产品。Stanford 团队随后用约 600 美元合成数据并微调出 Alpaca;Alex 在飞机上试用时发现,许多回答已很难和 ChatGPT 区分。4:35

他从中看到两层变化。第一,珍贵数据第一次可以低成本“压缩”成可出售的模型服务;第二,任何开发者都可能用不同数据、偏好和成本结构复制出变体。只要供给会繁荣,就需要一个地方同时发现、调用、比较与理解它们。Hugging Face 当时偏开放权重仓库,没有闭源模型、即时调用与真实使用语境,空位因此出现。5:22

Alex 早在 2023 年写过 pub/sub 产品思路:供应者发布 SKU,消费者订阅主题。人类购买是离散行为,agent 却会持续消费推理、随时切换 SKU。OpenRouter 的模型 slug、auto-router 与各类路由产品,正是把 API 与 marketplace 合成一个持续流动的市场。2:16

二、Discord 教会 Anjney:企业必须能控制模型

Anjney 在 Discord 负责平台、安全与大规模第三方生态时,NFT 和 DAO 让数十亿美元价值在社区里流动,也带来 phishing、social engineering 与 DDoS。后来 Discord 获得 GPT-3 系列早期访问,尝试 Clyde 助手与内容审核;后者很快撞上闭源模型的边界。10:01

Discord 每个 server 都有自己的规则。一个 Harry Potter 社区需要讨论版权内容,一个侦探小说社区可能包含暴力,但 OpenAI 的统一 post-training 会直接拒绝。公司拥有约 2.5 亿月活和 5,000 多名审核承包者,需要模型按每个社区的上下文执法;原厂却不提供权重,通用 moderation endpoint 也不够精细。12:20

这个经历让 Anjney 相信,企业需要开放模型以及一层能编排、评估和切换它们的控制面。Llama、Mistral、Black Forest Labs、Luma 等研究团队擅长创造能力,却未必擅长 checkpoint 之后的开发者体验、反馈回路与分发;OpenRouter 正好承接那一段。13:05

三、“一个模型通吃”忽略了模型不是搜索框

OpenRouter 早期融资最常听见的反对是:scaling laws 和网络效应最终会把价值集中到一个实验室,就像 Google 赢下搜索。Alex 认为这个类比的后果甚至会像“荷兰东印度公司乘上天文数字”,因为 LLM 不只是界面,还是所有新业务的底层生产资料。16:58

更关键的是,创造有效竞争者的成本比搜索时代更可分散。不同模态、研究团队、开放权重与专用数据都会产生可用模型;Anjney 同时投资 Anthropic、Mistral、BFL 与 Luma,亲眼看见 scaling laws 不是“只能有一个赢家”的理由,而是多个团队均能持续进步的机制。18:31

中立层还承担实验室不适合承担的工作。模型像黑箱,无法把所有能力列进产品页;开发者需要观察真实任务、价格、速度与 provider 质量。OpenRouter 像在黑暗房间里照亮每个角落,而且由不偏向单一模型的第三方来照,结论才对采购和工程有意义。23:57

四、所谓 wrapper,里面装着工程、社区和判断力

一些投资人把 OpenRouter 称为“API wrapper”或“thin layer”。Anjney 的反驳来自运营经验:仅把三家 provider 在生产环境统一起来,处理可用性、价格、数据政策、路由与失败恢复,就已经是大量工程;再把模型在发布首日送上 endpoint、Hacker News 与开发者工具链,还要加入社区与分发能力。25:29

Alex 早年与 Discord 做 OpenSea 集成时,所有人都接受“点击链接跳出 Discord”的实现,只有他指出这不是真正好的用户体验,主张把 checkout 嵌在 Discord 内。那会牺牲 OpenSea 的直接流量,却对用户更好。Anjney 把这视为稀缺组合:既懂系统和开发者,也肯为最终体验否决一个技术上已完成的方案。32:25

平台飞轮则来自深入具体社区。OpenSea 团队曾逐个进入 NFT 社区,观察链接分享并修需求;OpenRouter 也从被闭源拒绝、急需定制模型的用户群体开始,而不是抽象地建设“所有人的模型市场”。先找到被卡死的人,再在公开社区里同时学习与分发,才有冷启动。30:53

五、Crypto 是生成式 AI 的一次彩排

Discord 为 Axie Infinity 扩过单 server 上限,也为海量 NFT 交易搭出社区基础设施。当 Axie 回落,Midjourney 恰好起飞:空白网页上的用户只会输入“cat”或“dog”,在 Discord 却能看到别人实时作图、复制 prompt、继续改写,社交环境解决了生成式工具的 blank-canvas problem。38:35

Midjourney 的“四张图选一张”还天然制造偏好反馈。团队在八个月内做到约 1 亿美元收入 run rate,而 Stability AI 等开放模型出现后,任何开发者都可能造自己的 Midjourney。市场随后需要把权重托管、provider 与 API 统一,让创意者不必先学推理基础设施。39:21

但 OpenRouter 没照搬 Discord。图像可以一眼比较,LLM 输出阅读成本高,生产集成还需要代码、数据政策、团队权限和治理。Midjourney 是终端应用,OpenRouter 面向开发者;产品形态必须随最高期望客户改变。42:27

六、专注意味着主动删掉相邻机会

OpenRouter 和 Arena 看似都比较模型,实际使命不同。Arena 的最高期望客户是实验室 post-training 研究员,需要统计校正、style control 与偏好数据;OpenRouter 的最高期望客户是开发者,需要可靠 API、隐私和真实部署。OpenRouter 默认看不到 prompt 与 completion,组织若需要才主动选择开放。49:20

团队做过一个从 YouTube 视频微调“AI Steve Jobs”或个人导师的原型,也讨论过沿着调用日志自动 fine-tune 小模型。最终没有扩张,因为 specialist provider 更适合完成这门新业务,而中立市场能与它们合作。Alex 说专注不只让人把产品做好,也让世界知道“这个品牌最在乎我的哪一种问题”。57:00

Model Fusion 更能说明成熟时机。2024 年多个模型能力差距太大,融合第二、第三名反而拉低第一名,团队干脆删除代码。到 2026 年,多个前沿模型都强、却在推理路径上互补;Alex 把同一架构计划交给多模型,再让它们评审融合结果,模型一致认为组合版更好,功能才重启。60:51

七、排行榜是一部 AI 应用史

OpenRouter 的需求曲线与模型发布同频。早期主要是角色扮演,应用范围有限;2024 年 Claude 3.5 Sonnet 让编码出现大跃迁,调用量上升,客户看到月账单后又寻找便宜开放模型,形成“前沿能力拉需求、开放权重降成本”的摆动。65:30

2025 年末 OpenClaw 带来新的非开发者用户与 heartbeat 架构。心跳并不值得持续调用最贵模型,auto-router 因此特别适合;Hermes 等产品又把 skill 和 memory 做成社区。OpenRouter没有自己占领这些相邻层,而让排行榜显示谁正在赢。67:48

Alex 说当前每日 token 已超过 10 万亿,主持人提到约 9% 周增速。排行榜的历史快照像一部电影:角色扮演、编码 IDE、terminal agent、通用个人 agent 依次进入顶部。平台价值恰恰来自不押单一应用形态。70:08

八、Stripe 收购的是 token 经济的安全位置

OpenRouter 拦截的异常美元量一个月增长十倍。问题不只有盗刷:有人违反条款转售流量,有企业账户整套被入侵,有 agent 陷入失控循环烧掉预算,也有应用只是把通用推理加价倒卖,天然吸引套利与攻击。70:54

Anjney 早在 Midjourney 免费试用被中国转售者大规模滥用时,就意识到 token 是新的在线价值单位。支付行业从 1980、1990 年代开始为万亿美元交易重造反欺诈系统;他估计 token 流五年可能到约 5 万亿美元、十年达 10 万亿美元,而攻击方未来会把人类欺诈自动化成 agent swarm。75:34

Stripe 当年的关键并非最低支付费率,而是先替开发者承担摩擦、再用全网数据建 Radar 风控。OpenRouter拥有跨模型、provider 与 agent 使用形态的异常视野,Stripe 拥有身份、支付与欺诈基础设施。两者结合的战略不是“把 API 结账做顺”,而是让合法 token 流保持高速、同时把坏流量挡在外面。77:54

金句

模型不是能把全部功能列在网页上的产品;它们都是黑箱,哪怕开放权重模型也是。 —— Alex Atallah 23:57
如果你说一个应用只是模型的 wrapper,那投资人也只是 LP 的 wrapper;一路向下,直到裸金属,全都是 wrapper。 —— Anjney Midha 28:34
要养大一个 OpenRouter,需要整个生态。 —— Alex Atallah 67:03
有时模型更快,人就会觉得它更聪明。 —— Anjney Midha 47:49
排行榜随时间变化的样子,几乎就是过去几年 AI 行业变化的一部电影。 —— Alex Atallah 70:08
每当巨大价值在世界范围内流动,就需要新的保护与安全基础设施。 —— Anjney Midha 78:40

提到的书·产品·人物

适合谁听

正在选择模型与路由架构的 AI 工程师、做开发者平台的创业者,以及想理解 Stripe 为何需要 OpenRouter 的投资人与安全负责人。

← 返回全部观看原片 ↗