← 顶级AI播客总结
Latent Space

算力做成电网:前沿 AI 的隐形瓶颈不是钱,是文化

The Hidden Bottleneck Behind Frontier AI — Anjney Midha, AMP
节目时长 61 分钟 阅读约 18 分钟
▶ 在 YouTube 收看原片
算力做成电网:前沿 AI 的隐形瓶颈不是钱,是文化 插画

钱和算力都不缺,却仍造不出好模型——Anjney Midha 拆解前沿 AI 的真正瓶颈:集群浪费、社区反弹、研究囤积,以及最脆弱的护城河"文化"。

核心要点

瓶颈是文化,不是钱或算力:很多实验室现金、算力都齐备却造不出好东西、人才流失,Midha 的诊断是文化在瓦解——一旦停止用行动证明使命对齐,文化就开始崩坏。

95% 节点利用率才算及格:在 Google,节点利用率不到 95% 被视为"事故",96% 才是标准;最佳 MFU 利用率应在 60%~70%。差距源于资本到集群管理者之间链条太长、对齐失真。

算力电网与 ISO 模式:Amp 不做 XAI、OpenAI 式全栈整合,而是横向的"算力电网",定位为独立系统运营商(ISO,类比 PJM Interconnection),自己不持有资产,靠池化跨云、跨芯片的算力,让 megaflops 像 megawatts 一样流动。

1.3 GW 基载、6 GW 尖峰需求:Amp 已锁定约 1.3 吉瓦需求(约 400 亿美元云支出),目标是保有 1.3 GW 常态基载,并预计未来四年需约 6 吉瓦尖峰算力,沿用 Borg/GQM 与 A16Z "Oxygen" 项目的可中断需求调度设计。

研究囤积是市场失灵:DeepMind 十年顶尖研究多数从未落地,论文还有六个月禁运窗口,一旦商业团队看中就"终身封存",导致只有不够好的论文才被发表,形成逆向选择。

数据中心遭社区反弹:据 Midha 理解,今年美国多达 20% 的数据中心面临拿不到社区支持的风险(他也承认此数字可能被高估);解法是把边际算力溢价直接返还社区、甚至降低当地电费,让社区成为合伙人。

文化是脆弱的护城河:引用 Bushido"文化不是一套信念,而是一套行动",Midha 强调文化像花园需每日打理;Anthropic 早年"被无数人拒绝"反而逼出了清晰的 P0(编程通向 AGI),而钱太多太快、没有艰难的团队文化最脆弱。

算力做成电网:前沿 AI 的隐形瓶颈不是钱,是文化 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

一、集群利用率与浪费的复利

Midha 开篇就把矛头指向行业现状:"今天有那么多 AI 实验室,现金、算力都齐备,却仍然发不出任何像样的东西,然后你开始看到人才离开。"他的诊断是文化。

他随即给出可量化的工程标尺。集群有两种利用率:节点利用率(数据中心里多少卡被真正占用)和 MFU。在 Google——他的联合创始人 Seb 来自那里,曾构建 Borg/X-Borg 的 GQM 调度器——节点利用率不到 95% 被视为"事故",所以 96% 才是标准,而多数单机房集群达不到;最佳 MFU 利用率应在 60%~70%。

为何普遍达不到?Midha 认为这是领导力与对齐问题。从出资方到部署集群、再到衡量产出的人,链条上"分隔度"太多。他用弧度比喻:两条线起点只差几度,在规模上会扩散得很大。很多前沿实验室带着"做好事"的初心启动计划,却被要求非迭代式地极速扩张,导致浪费在规模上飞速复利。解法其实老半导体行业的人都懂——做迭代式 bring-up,"AI 不该成为抛弃常识的借口,常识永远不过时"。

二、负责任的基础设施与社区政治

Midha 承认能力层面"这次确实不同",但坚持基础设施层面不能用"这次不同"当借口。他借用扎克伯格从"快速试错(move fast, break things)"到"更快、稳定的基础设施"的转变,提出现在需要"快速但负责任的基础设施"。他警告审计、调查和监管终将到来,那些以 AI 进步之名快速试错的人最好做好准备。

社区反弹是他重点剖析的政治瓶颈。斯坦福课堂上 General Matter 创始人 Scott Nolan 提出一个构想:若每算力小时边际成本约 4 美元,在新社区建数据中心时不妨按 4.5 美元/小时收费,把多出的 50 美分直接以现金返还当地社区。作为算力买家,Midha 说他乐意多付这 50 美分,因为社区的公共利益清晰可见会让算力更可靠。他提到(据其理解)今年美国多达 20% 的数据中心面临拿不到社区支持的风险,但也主动承认这个数字可能被夸大、被过度报道。社区关心的不只是就业,还有电网、环境、审批等。若能让社区电费因此下降,社区就会觉得自己是合伙人。

在供应商选择上,他直言"neo-cloud 是个新品类"很大程度是营销话术。美国有不少在行二十多年、有信用记录、经历过互联网起落的稳健数据中心伙伴。"他们在 NeurIPS 办欢乐时光吗?没有。他们 situationally aware 派对上现身吗?没有。但他们是成年人,我信任他们。"他批评算力层有太多短期思维,"这会反噬我们,不会有好结果"。

三、算力电网与独立系统运营商

主持人追问:对齐激励不是更应该全栈一体(如 XAI、OpenAI)吗?作为独立基础设施层凭什么更对齐?

Midha 用系统设计回应:提升利用率有两条路——系统整合(把多个流程坍缩进一个节点)或池化与共享(把某个资源从节点抽出、供多个节点共享)。Amp 做的"Amp Grid"是后者,是横向的、跨云跨芯片的池化层,目标是"让 megaflops 像 megawatts 一样流动"。当下难点在于算力到处是搁浅的孤岛、缺乏可替换性,所以 Amp 先从调度层和经济层切入。

他特别澄清自己不是 neo-cloud:"neo-cloud 是供应商,是电网的需求方/取电方;我们是独立系统运营商(ISO)。"他援引电网史:当工厂意识到池化优于各自在后院半负荷运转发电机时,就需要一个中立协调方来调度发电、输电线和工厂。最持久的电网恰恰是那些从不持有资产、靠长期"不相关需求锚点"(白天用电的鞋厂 vs 夜间用电的钢厂)来错峰拉高整体利用率的运营商,标杆是美国东北的 PJM Interconnection。

技术上 Amp 从调度层起步(Seb 和 Mihai 在 Google 做过)。Discord 则是反例——它自建 WebRTC 语音视频基础设施全在内部,靠汇聚全球 2 亿多月活玩家的需求来最大化利用率。Midha 总结系统设计反复出现的两组概念:抽象与组合、捆绑与解绑、垂直化与横向化。Amp 以约 1.3 吉瓦规模、跨四年从可信伙伴池化供给,再从顶级研究实验室(如所在的 Periodic Labs)池化需求,各方拿到基载保证、又能灵活尖峰伸缩。

四、可中断需求、控股结构与研究囤积

Amp 的调度设计沿用了两条血脉:Midha 在 A16Z 设计的 "Oxygen" 项目,以及 Mihai、Seb 在 Google 实现的 GQM/Borg。核心是让团队的基载工作负载有容量保证,研究尖峰时又能拿到算力。Google 三四年前在此空间实现的关键创新是"可中断需求"——排队大量作业,通过信用/竞价机制做动态优先级,比如"nano banana 2"值 10 个信用、"genie 3"值 5 个,高出价者优先。主持人指出这正是 Google 的 Brain Marketplace(曾在播客与 David 聊过),而批评在于"有时需要中央指令 all-in,靠信用的资本主义会失灵"。Midha 补充:这不是对 Amp 的批评,但 Google 内部这套机制确实导致它错失了 GPT。

结构上 Amp 仿照 Google:做成控股公司(Amp Holdings),下设基础设施业务,以及一个名为 Foundry 的资本业务,孵化并以风投方式投资新的前沿 AI 实验室——今年早些时候从基金投了 Anthropic 几亿美元,也投了 Periodic。

他对 DeepMind 的批评尖锐:研究者在既有实验室推进到一定阶段后常感到与"Alphabet 控股的独裁"错位,全模型等成果被去优先级、转去做编程,"这是悲剧但我理解"。更糟的是论文有六个月禁运窗口,一旦商业团队说"这可能有意思"就终身封存,于是只有"不够好"的论文才被发表,形成逆向选择——NeurIPS 上甚至有人说"我为什么要看 GDM 的垃圾论文"。Midha 称研究被囤积是负外部性、是市场失灵,需要有人解锁,而 Amp 仅有 1.3 GW(约 400 亿美元云支出)"什么都不算,得再多点"。

五、临终预测:十四年的执念

被问到"反浪费"是否有更宏大主题时,Midha 把话题引向他真正的使命。课程叫"frontier systems",但工程上他称之为"output maxing(产出最大化)"——既反对浪费 GPU,也反对浪费在人身上、在 Medicare 上的资源。

他回顾在斯坦福医学院读生物信息学硕士的经历(本科一路从经济、CS 换到数学计算科学 MCS,专业被砍后转读研),师从 Nigam Shah 做临终预测。斯坦福拥有美国少有的大规模纵向患者数据集(stride,至少 1200 万患者,仅次于 VA),他为此专门入读医学院附属项目。美国超过 30% 的 Medicare/Medicaid 支出花在临终护理上。

他展开中美对死亡的文化差异:西方基督教传统把死亡视为终点、有审判日,因而医疗系统从"延缓死亡"的假设反向运作;而他成长的印度金奈、印度教与佛教文化把死亡看作多世旅程中的一步,出殡时家人在街上击鼓起舞庆祝亲人"被解脱、奔赴下一程"。这种文化差异叠加美国的医疗事故诉讼压力,导致医生不敢给明确建议——诊断能力极强("你还有 6 个月到 6 年"),但误差棒太大,患者于是"全都试试看",开启大量药物治疗、长期住院,恶化生命质量、把最后时光耗在病床上,既对患者更糟、医生也痛苦、纳税人还买单。

技术上他发现"RL 有效,甚至简单回归和小神经网络就行",真正的障碍始终是监管——无法把误诊责任从医生转移到 AI 系统。十二年前他因无力影响监管而幻灭、辍学去了 Kleiner。如今他重启这项孵化,目标是用更精确的 AI 临终预测赋能患者。"这是我十四年来没有一天忘记的事,是我愿意为之而死的山头——不过我其实更愿意别死。"他把这件事和"净正向数据中心"列为两个应跨党派的议题,二者是同一条扩展瓶颈曲线的两面,并以此解释为何把 Amp 注册为公益公司(PBC)。他的妻子热衷教育(出身教育与物理学世家),这门课是他"作为家族黑羊"尝试做教育者的努力。

六、对齐、文化与"为何 Anthropic 跑得快"

Midha 把"对齐"上升为学科级命题。系统起步时反馈环极紧、天然对齐;越扩张则分工越细、抽象越多,"凡有 API 接口处就有损耗、有沟通损失"。如何既 scale up 又不失对齐?两条路:标准化协议/API 规范实现无损通信;或带来全新能力(如室温超导这种"能量的无损传输机制")以丰裕到让标准化不再重要。他提到 SF Compute(Evan)在标准化算力期货合约,希望 Amp 电网能成为双向开放协议,对接其余缺供给。他也坦言过去六周本以为年底会有的余量"全没了",融了数十亿美元的旧识都在问"能不能给我 15 个节点"。

谈到非 Nvidia 路线,他以 Matrox(Reiner Pope,前 Google Palm/Gemini 旁系)为例:Matrox 选择直接采用 Nvidia 参考架构,芯片在 IO 上与 Nvidia 机架同尺寸,因此能插进任何 Nvidia bring-up 场地,把创新集中在逻辑 die 的系统协同设计(co-design)上。这恰恰避免了标准化损耗——"Jensen 公开了参考架构,反而让 Reiner 这样的人能造芯片公司"。而 co-design 团队的首要瓶颈是"信任边界":流片要两年,必须尽早看到下一代模型架构,否则芯片到市时架构已变。Midha 最爱做的就是帮芯片团队获得这种信任与可见性,因为他从第一天起就深度参与 Anthropic、在 Mistral 董事会、Black Forest Labs 起步时也在场,目前在六七个团队里"一次只深耕一个"。

关于人,Midha 批评 VC 不会把人看成"动态主体",总想把人塞进盒子。他坚信顶尖科学家能成为优秀 CEO:"Dario 是科学家,四年从零做到即将万亿美元的公司。"能在 Berkeley 这类地方做到学科顶尖、拿到组织资源和信任、并把成果发表出来的人,本身就是"头脑的运动员"。他列举 Anastasios、Waylon(LM Arena)、Robin(Stable Diffusion)、Guillaume(Llama→Mistral)。他还澄清自己只是 Arena 5 个月的"行政过渡 CEO/实习生",Anastasia 一直是真正 CEO。成为伟大 CEO 需要在上下游全栈"敢于对抗"——对团队、招聘、客户皆然。

最后他把"文化即护城河"讲透。引用 Ben Horowitz(《Hard Thing About Hard Things》作者、刚在 CS183 演讲)以及 A16Z 墙上那句 Bushido 名言"文化不是一套信念,而是一套行动"——一旦停止用行动证明使命对齐,文化就开始崩坏。所以文化不是稳固护城河,而是极脆弱、需每日打理如花园的东西,根子在"认识你自己",真诚者会自然做出强化文化的取舍。Anthropic 自第一天就有传教士般的信念:能力会扩展、系统是随机而非确定的、有误差棒、在攻克可解释性前有风险,所以日复一日强调"安全、安全、安全",并接受团队与世界的问责。他认为 Anthropic 在 2024 年 10 月那次训练(post-training 于 12 月发布)实现了"起飞"。

至于"Anthropic 如何破解编程",主持人提出主流假说是"幸运骰子被复利放大"。Midha 用中学老师的话回应:"luck favors the prepared mind(机会偏爱有准备的头脑)。"Anthropic 四年来是"准备最充分、带着偏执的公司",早年极度缺资源逼出了极致效率(其烧钱效率远胜 OpenAI),所谓运气其实是长期准备。而当下他最担心的是钱来得太多太快、实验室没有早期艰难——Anthropic 当年"被无数人说不"("抱歉我们已投了 OpenAI")反而是 feature 而非 bug,逼它定义清楚 P0:编程。因为编程是极通用的能力,攻克编程就能加速一切电脑上的工作、进而通向 AGI 这一使命。"使命定义一切"——在 Periodic,超导是使命、编程不是,所以"我们就用 Claude,不在乎"。融资太多太快、不必定义 P0 的团队,文化最脆弱,"甚至撑不到起飞"。

收尾时他以个人经历呼应文化与金钱观:在印度 Rishi Valley 寄宿学校(Jiddu Krishnamurti 创办、七年无技术、睡石板薄垫的"强制极简主义"),后在新加坡 St. Andrew's JC 奖学金项目睡过 Boon Keng 附近狭小的过渡宿舍、室友是不会英语的中国 Dota 高手。"经历过那些,我不需要多少东西就能快乐。钱一旦从副产品变成衡量标准,就失去意义(Goodhart 定律)——它是追求使命的资源。"他还提到自己 24、25 岁创业时经历过背叛与戏剧,因此对一位先前因更高薪毁约、在 Periodic 技术突破后想回归的人坚决说"不,你有过机会了"——因为这"事关文化与原则"。

金句

共识永远不过时。AI 扩展不改变这一点;恰恰相反,AI 扩展应该让基础设施里的常识更值钱,因为现在的容错空间更小、浪费的代价更高。 —— Anjney Midha 3:03
我们想为算力做电网为电力做的事——让 megaflops 像 megawatts 一样流动。 —— Anjney Midha 8:21
文化不是一套信念,而是一套行动。一旦你停止用行动证明使命对齐,文化就开始崩坏。 —— Anjney Midha 引述 Bushido 50:28
机会偏爱有准备的头脑。你上次是走运,但你得一直保持准备。Anthropic 四年来是准备最充分的公司。 —— Anjney Midha 48:12
名义上当个 CEO 并不难,难的是当好 CEO,而当伟大的 CEO 所需的表现水平,正是那些已在领域顶端发表的科学家才达到过的。 —— Anjney Midha 36:45
那么多被拒绝在事后看来是 feature 而非 bug——它逼你真正想清楚,什么是你愿意不惜一切代价去死守的那座山头。 —— Anjney Midha 54:19

提到的书·产品·人物

适合谁听

关心 AI 基础设施经济学、算力调度与电网类比,以及前沿实验室"文化即护城河"组织命题的创业者、投资人与研究者。

← 返回全部观看原片 ↗