从12个神经元到你口袋里的AI：Liquid AI 的边缘智能野心

核心要点

• 12个神经元停车：Liquid 早期用 12 个液态神经元就能自动泊车、19 个开车、30 个操控无人机飞行，灵感来自只有 300 个神经元却能灵巧运动的线虫 C. elegans。
• 1907年的方程：液态神经网络对应的微分方程自 1907 年 Louis Lapicque 建立膜电位模型以来一直没有闭式解，Liquid 团队在 2022 年首次求出，成果发表于当年11月的 Nature Machine Intelligence。
• HuggingFace第五：Liquid 在美国 HuggingFace 下载量排第五，每周超 100 万次下载，前四是 Google、Meta、Microsoft、Nvidia；公司靠 1000 张自有 GPU、发布 50 多个模型做到这一点。
• 架构梯度论：Hasani 的核心洞见是——小模型和专用模型应加大偏置（gating、卷积、递归），大模型（万亿参数级）反而要回归无结构的纯矩阵乘法，注意力机制在前沿规模仍无可替代。
• 消灭人类偏见：Liquid 用自动化系统 AFMD（Automated Foundation Model Design）以进化策略搜索约 50-100 个算子，把硬件放进循环，评估标准不是困惑度而是真实下游任务，以此消除各大实验室"少数专家凭经验调架构"的顽疾。
• 双门控卷积：搜索最终在 CPU 上收敛出极简的"双门控卷积"，构成 LFM2 中 70-80% 的层，替代注意力、大幅降低算力与内存占用，剩余约 30% 才是注意力。
• 万亿美元暗算力：全球智能手机市场约 5000 亿美元、加上笔记本约 8000 亿，与数据中心建设规模相当；Mercedes-Benz 车内语音将由一个 600MB 的 Liquid 模型驱动，跑在车里最小的处理器上。

章节时间轴

• 0:00 开场导览 — 主持人介绍嘉宾与本期主题，预告将深入技术细节：从生物启发的微分方程网络到边缘设备原生基础模型。
• 6:13 Liquid AI 的起源 — Hasani 讲述从 MIT CSAIL 分拆、十年研究积累，以及"把最多智能塞进最小算法"的目标函数。
• 8:32 为什么研究线虫大脑 — 从第一性原理出发看神经元如何交换信息，选择 C. elegans 因为2015年它是唯一已知完整神经系统的动物。
• 12:30 12个神经元的奇迹 — 少量液态神经元完成泊车、驾驶、飞行；LTC（液态时间常数）网络命名由来与"液态=可适应"。
• 16:22 1907年的闭式解 — 从数值求解器的可扩展性瓶颈，到2022年首次求出百年未解的闭式解及其意义。
• 20:11 公司使命成型 — Quanta 杂志报道后 VC 蜂拥，使命定为"在每个尺度构建高效通用 AI"。
• 24:50 数神经元还是数参数 — 解释早期以神经元计数（每个约等于7个参数）到今天与 GPT 一样按参数计的转变。
• 27:53 非线性的并行化瓶颈 — 把顺序计算转成并行张量计算，非线性递归难以张量化，正是状态空间模型走线性路线的原因。
• 40:18 架构搜索 AFMD — 详解自动化基础模型设计系统：进化策略、硬件在环、真实下游任务评估，从 10M 搜到 72B 参数。
• 51:48 门控机制的直觉 — 主持人与嘉宾深入"输入依赖"为何强大；追溯 Liquid S4 论文早于 Mamba 提出输入依赖 SSM。
• 60:19 学习范式高于架构 — 架构只是效率工具，真正的突破来自学习算法、数据、记忆等整体，而非孤立看架构。
• 64:58 不同场景的赢家 — DNA 长序列用卷积/SSM、视频用扩散、音频用 RNN、物理仿真用微分方程网络的具体权衡。
• 75:00 设备基础模型与市场 — 数据中心外的"暗算力"、Shopify 与 Mercedes-Benz 落地、在硬件之上构建智能层的愿景。
• 81:53 给芯片厂商的建议 — 硬件公司应向上做到"智能层"，以 Nvidia Nemotron 为成功范例，软件优化决定谁能胜出。
• 89:35 本地 agent 与微调 — 以 LFM2 24B A2B 为例，讨论如何在消费级硬件上逼近前沿模型；预告即将推出的自助微调平台。
• 96:27 智能微缩的极限 — 智能是涌现属性，人脑 20 瓦背后是漫长进化；当前算法难达"每瓦智能"上限，需要新的学习机制。
• [100:21] 好奇心的收尾 — Hasani 作为技术乐观主义者，呼吁人人像科学家一样保持好奇，用 AI 满足对世界的探索欲。

详细内容

生物学起点：从线虫大脑到微分方程神经元

Liquid AI 的技术源头是 Hasani 在 MIT 的博士研究。团队的目标函数十年来始终如一：把最多的智能压缩进最小的算法。他们最初关注机器人和进入真实世界的系统——自动驾驶车、无人机、固定翼飞行器——这些系统一旦部署就会迅速遭遇分布外（out-of-distribution）数据，而人类和动物恰恰擅长在分布外优雅地泛化。

为寻找答案，团队从第一性原理出发研究大脑，选择了线虫 C. elegans。原因很具体：2015 年 Hasani 与联合创始人 Matias Lechner 开始这项研究时，这是唯一已知完整神经系统的动物。它仅用约 300 个神经元就展现出丰富的感知-反应行为和惊人的运动控制，比当时最好的机器人系统还灵巧。由于线虫极小，其神经元不产生尖峰（spike）、呈渐变式（graded）活动，这使它们高度可微，恰好能套用学习理论、施加反向传播。

团队用门控 sigmoid 函数抽象掉描述两个细胞间信息交换的复杂微分方程，从两个、四个、八个神经元逐步搭建更复杂的神经回路，试图"沿着神经系统的进化路径"往上走。这类微分方程即使变复杂也表现良好，越复杂越接近生物，代价是计算足迹更难扩展。

液态神经网络与百年未解的闭式解

早期结果令人震撼：12 个神经元能自动泊车，19 个能开车，30 个能操控无人机飞行。他们把这类网络命名为"液态时间常数网络"（Liquid Time-Constant, LTC），"液态"指系统动态在训练后仍保持灵活——模型能对新输入做出反应，甚至在反向传播中学会如何对输入保持适应性。这项技术后来被推广到金融预测、医疗、音频建模、多模态视频理解等领域，且分布外表现极佳，team 甚至与美国空军、当时在 MIT 资助 Hasani 博后的 Boeing 合作，用少量神经元驾驶喷气机。

但代价是可扩展性。每个节点都是一个微分方程，前向和反向传播都要求解微分方程组，计算复杂度甚至达到立方级。数值求解器步数越多越精确，却永远达不到无限精度，扩展性受限。

转折点是"闭式求解"的想法：能否直接把整个系统闭式求解？结果发现，这类方程的闭式解自 1907 年以来就不存在。Hasani 详细追溯了这段科学史：1907 年 Louis Lapicque 建立膜电位数学模型，成为离子通道建模的基础；Hodgkin 和 Huxley 从 1953 年起用生物学基础改进该模型，1963 年因更精确描述神经元动态获诺贝尔奖。这类方程在所有教科书里都没有已知闭式解。2022 年前后，Liquid 团队首次求出液态神经网络的闭式解，成果为 2022 年 11 月的 Nature Machine Intelligence 论文（Closed-form Continuous-time systems）。意义重大：不再需要数值求解器，神经元数量可从数百扩展到数十亿，同时保留非线性。2023 年 2 月 Quanta 杂志的报道让 Hasani 和 Lechner 出圈，硅谷 VC 蜂拥而至。

非线性的并行化瓶颈

主持人追问：把液态范式扩展到百万、十亿级会遇到什么瓶颈？Hasani 给出的核心答案是——把顺序计算转成并行计算。当从单神经元动态走向多神经元，参数从标量/向量变成矩阵/张量，需要张量化才能并行。但如果方程里存在非线性关系，就无法在向量化计算和张量化计算间建立平凡的一一映射。递归本身就增加复杂度，递归叠加非线性更难用线性代数拆解。

这正是状态空间模型（SSM）走线性路线的根本原因：不是因为线性更好，而是因为我们没有恰当的方法扩展非线性系统。你可以在线性动态系统之上做逐点的非线性操作（如门控 sigmoid），但如果参数之间的关系本身受非线性支配，就只能把非线性系统近似成线性系统才能并行。

即便有了闭式解，液态网络因其多重反馈机制和嵌套非线性，仍需顺序计算，无法高效并行——闭式解让神经元数量能到百万至千万级，但可扩展性仍受限。Hasani 提到团队和学界都在研究"顺序扫描"（sequential scan）等算子，能把矩阵乘法从立方/二次降到亚二次时间，在不线性化、不并行化的前提下加速非线性算子。

架构搜索 AFMD：消灭人类偏见

来到当下，Liquid 的打法发生了"中立化"转变。主持人观察到：Liquid 不再把自家范式当锤子到处找钉子，而是构建了一个更高抽象的架构搜索过程。两个关键细节——代理指标（如困惑度）不管用，必须在真实下游任务上测试；硬件在环，用客户真正要用的目标硬件测架构。

Hasani 把这套系统称为 AFMD（Automated Foundation Model Design），一个把硬件放进循环、用进化策略搜索的元学习系统，优化目标是设备上的内存占用、延迟、速度，同时不牺牲质量——而质量的衡量是 100 多个真实下游任务，不只是公开基准。为什么这么做？为了尽早移除人类偏见。他直言这是所有基础模型实验室（包括 Anthropic、OpenAI）都存在的问题：总有一小撮"架构复仇者联盟"式的人凭个人经验拍板"调这部分会更好"，而这本质上是坏掉的。正确做法是交给系统化的搜索。

搜索空间包含约 50-100 个算子：各种卷积变体、递归算子、注意力变体（group query attention 等），以及 Liquid 带来的双门控卷积等偏置模块。目标函数是"在不损失精度的前提下最大化计算效率"。团队从 10M 参数一路做 scaling law 到 72B 参数的混合架构。有意思的是，公司本身汇集了大量牛人——SSM 发明者之一 Jimmy Smith（发明 S5，把并行扫描引入 SSM 世界）、设计 hyena 层级结构的 Stefano Massaroli 和 Michael Poli——但他们决定用系统化方法彻底解决"谁来拍板"的问题。

双门控卷积与架构梯度

搜索的结果出人意料地简单：当把所有人为偏置（各种 gating）都拿掉，在 CPU 上收敛出的最优结构是"双门控卷积"，成为 LFM2 的事实标准架构。这源于液态网络原生的嵌套计算，被简化后极为高效。在 LFM2 中，70-80% 的层是这种极简的双门控 1D 卷积，替代注意力、大幅降低计算复杂度和内存占用，剩余约 30% 才是注意力。质量上却能与基于 Transformer 的方案高度竞争。

由此 Hasani 提出全篇最核心的"架构梯度"论。主持人总结得很到位：如果要更新那句"Attention is all you need"，现在应该说"注意力在一定规模上你确实还需要，但你也需要给其他层加门控，而门控背后的机制可以非常简单"。Hasani 认同并深化：这取决于你所处的规模和目标。如果你要造超级智能、最强 AI，你需要最无偏的算法——注意力就是极其丰富、无偏的算法，即使复杂度是 O(n²)，也许我们真的需要 n² 才能到那个水平。反之，模型越小、越专用，你越可以堆门控、堆算子，它反而给你增益；如果极度追求速度、愿意牺牲一点质量，甚至可以让整个系统线性化。一句话：网络越大越该无结构，越小越该有偏置。

关于门控为何强大，主持人给出自己的理解——门控让变换变成输入依赖（input-dependent），通常门是低维甚至标量的。Hasani 纠正说"这就是液态结构"，并指出 Liquid 在 Mamba 出现前一年半就发表了 Liquid S4 论文，首次引入输入依赖的 SSM。他强调关键在反向传播：输入依赖的算子在计算梯度时会表现出来，让网络学到"输入依赖的动态"，这就是他反复说的第二个维度——除了参数数量，还有网络学到的动态。门的复杂度、乃至门是否存在，本身就是一种偏置。

学习范式高于架构

Hasani 主动把"对架构的执念"放进更大视角。他认为架构只是效率工具——架构研究最重要的应用就是"在不损失质量的前提下得到高效的计算形式"，因为随着模型变大、AI 需求指数增长，资源分配成了根本问题，大实验室正在"把地球上的算力抽干"。

真正的下一代智能突破需要整体推进：数据、模型、学习算法一起设计。他指出当前学习理论在规模上其实是"坏掉的"——一切都假设 iid，我们在造"求平均的机器"，这也是 AI 写作质量千篇一律的原因；多智能体和测试时扩展（test-time scaling）只是对自回归预训练缺陷的部分补救。主持人据此总结：在递归自我改进时代，真正的进步更多来自新的学习范式和目标，架构优化跟在其后。Hasani 部分认同，但强调架构只是其中一个分量，不能孤立看待，并顺带提到 Ali Behrouz 的"架构的幻觉"（illusion of architectures）和 nested learning 值得一聊。

不同场景的赢家与落地

在光谱的另一端，资源受限、领域狭窄时，各种偏置会在搜索中胜出。Hasani 给了具体例子：生物学的 DNA 数据词汇表极小但序列极长（人类或细菌可达 1 到 1000 亿元素），这种长上下文、小词汇的场景不需要注意力——纯卷积、纯 SSM、纯液态网络、线性注意力都行，因为注意力的二次成本在超长上下文会失控。视频建模可能需要扩散（diffusion）元素；纯音频（voice-to-voice、signal-to-signal）里递归神经网络依然极强，尤其在低数据régime——偏置越多的模型在数据稀缺时越能靠反馈机制填补空白。物理仿真则有 physics-informed neural networks 这类专门架构。一个通则：架构越接近数据本身的动态，学习系统就越好。而在所有这些场景，只要放大到最大规模，Transformer 又会反超。

落地方面，Liquid 把技术分为两大类。数据中心外的一切处理器上跑的叫"设备基础模型"（device foundation models）；数据中心内则服务于受限用例——超低延迟、超长序列、极小内存占用、低成本。合作案例包括：Shopify（模型已在生产环境提升点击率，覆盖推荐、搜索、产品目录、多模态理解）；Mercedes-Benz（历史性合同，车内语音和视觉将由 Liquid 模型驱动，一个 600MB 模型就能装进车内最小的处理器，却给出顶级音频模型的质量）。

硬件的未来与智能微缩的极限

Hasani 反复强调"暗算力"机会：全球智能手机市场约 5000 亿美元、加笔记本约 8000 亿，与数据中心建设规模相当。人们桌上和口袋里躺着约一万亿美元的算力，几乎没被智能利用——而且我们没有足够能源在云端托管所有智能，必须"聪明地做"。

他给硬件厂商的建议是：每一代软件技术都在抬高硬件厂商应构建的抽象层。CUDA 级别的手工优化正被 agent 自动化（"CUDA mode 已经不存在了"），厂商应向上做到"智能层"。范例是 Nvidia 的 Nemotron 项目——投入了数十亿美元，本质是在 Nvidia 算力之上构建智能层，降低企业采购门槛。这意味着硬件公司某种程度上要变成基础模型公司、自己训练智能层。软件优化能弥补硬件的带宽/内存劣势，谁拥有高效的智能层谁就能赢。他还预判智能眼镜可能是未来重要的硬件形态，甚至可能取代笔记本。这也指向一个高度垂直整合、软硬件耦合的未来——但 Hasani 认为智能层是可适应、可自我改进的系统，用户可换模型但通常没有理由去换。

在本地 agent 场景，Hasani 用 LFM2 24B A2B（混合专家，24B 中激活 2B）举例回应主持人"如何在消费级电脑上逼近前沿性能"的提问。他坦言当前没有任何本地模型开箱即达 Fable/Opus 水平，必须微调。真正的"本地计算机"是那个编排器（orchestrator/router）——它决定何时调用本地 PII 模型过滤隐私、何时把复杂任务发往云端。微调成本约在数十到低数千美元，远非数万美元，且会跑在你已有的算力或安全数据中心上。Liquid 未来几个月将推出可直接在终端调用的自助微调平台，甚至能合成数据训练出可靠的工具调用模型。

关于智能微缩的终极极限，Hasani 认为智能是"涌现属性"——在上下文学习能力正是从下一个 token 预测中涌现的。他不相信当前算法能逼近人脑的"每瓦智能"（人脑约 20 瓦就是 AGI）。原因是人脑背后是漫长的生物进化——大量"预训练"其实发生在进化中，人类无需看遍整个互联网就能推理。当前 AI 的上下文学习只学到一个模糊版本的最小二乘/梯度下降算法，而人类拥有多样的学习机制：从例子学、强化学习、在脑中跑模拟、做贝叶斯统计。他认为强行把系统训成从轨迹学习的强化学习器不是通往涌现智能的正路，真正需要的是找到更多像"下一个 token 预测"这样的底层"涌现触发器"。

金句

谁说你需要一座大山才能重新设计？——Ramin Hasani 13:17（关于用极少神经元完成复杂控制）

你造的神经网络越大，你就越希望它变得越来越没有结构。——Ramin Hasani 33:23

这在所有实验室都是坏掉的：总有一小撮人在拍板"你该调这部分架构让它更好"，因为在他们的经验里它开始表现更好了。——Ramin Hasani 43:22

如果你要造超级智能，你需要最无偏的算法版本；注意力就是一种极其丰富、无偏的算法形式。——Ramin Hasani 63:27

世界上有一万亿美元的算力躺在人们的桌上和口袋里，那是一块巨大的、亟待利用的智能基底。——主持人 76:31

智能对我而言是一种涌现属性——是从下一个 token 预测里"涌现"出来的。——Ramin Hasani 97:15

提到的书·产品·人物

• Ramin Hasani（人物）：Liquid AI 联合创始人兼 CEO，本期嘉宾，液态神经网络提出者。
• Matias Lechner（人物）：Hasani 的联合创始人，2015 年起共同研究线虫大脑与液态网络。
• Jimmy Smith（人物）：Liquid 创始科学家，SSM 发明者之一，发明 S5，将并行扫描引入 SSM。
• Stefano Massaroli & Michael Poli（人物）：Liquid 研究者，设计 hyena 层级结构（卷积路径）。
• Louis Lapicque（人物）：1907 年建立膜电位数学模型，液态网络方程的历史源头。
• Hodgkin & Huxley（人物）：改进神经元动态模型，1963 年获诺贝尔奖。
• Ali Behrouz（人物）：其"架构的幻觉"（illusion of architectures）与 nested learning 被 Hasani 提及。
• Liquid AI / Liquid Foundation Models (LFM)（公司/产品）：MIT 分拆的设备原生基础模型公司及其模型系列。
• Apollo app（产品）：Liquid 的 App，可在 iPhone 上跑 1B 参数模型做本地文档搜索分类。
• LFM2 / LFM2 24B A2B（产品）：搜索得出的架构；后者为混合专家模型（24B 中激活 2B），用于本地工具调用 agent。
• Liquid S4（论文）：Mamba 前一年半发表，首次引入输入依赖 SSM。
• AFMD (Automated Foundation Model Design)（产品/系统）：Liquid 的自动化架构搜索元学习系统。
• Mamba / Jamba / gated delta nets / hyena（产品/架构）：被讨论的各类替代架构。
• Nvidia Nemotron（产品）：Nvidia 在自家算力上构建的智能层，被作为硬件厂商向上做智能层的成功范例。
• Shopify（公司）：客户，模型已用于推荐、搜索、产品目录并提升点击率；其 CTO 曾在 Latent Space 播客谈及 Liquid。
• Mercedes-Benz（公司）：客户，签署历史性合同，车内语音与视觉将由 600MB 的 Liquid 模型驱动。
• HuggingFace（产品）：Liquid 在美国下载量排第五，每周超 100 万次下载。
• C. elegans（秀丽隐杆线虫）（生物）：仅 300 神经元的完整神经系统，液态网络的生物灵感来源。
• Boeing / 美国空军（机构）：早期合作方，展示用少量液态神经元驾驶喷气机。
• Quanta Magazine（产品）：2023 年 2 月报道 Liquid 的闭式解成果，引来 VC 关注。

适合谁听

对边缘 AI、模型效率、替代架构（SSM/卷积/液态网络）和"如何把智能塞进小设备"感兴趣的工程师、研究者与创业者。