← 顶级AI播客总结
Latent Space

推理的十倍战争：当 GLM 5.2 开始写自己的 GPU kernel

The Inference Frontier: 10x Faster Models to Self-Optimizing AI — Philip Kiely & Ali Taha, Baseten
节目时长 103 分钟 阅读约 31 分钟
▶ 在 YouTube 收看原片
推理的十倍战争：当 GLM 5.2 开始写自己的 GPU kernel 插画

Baseten 两位推理工程师拆解：怎么把开源模型跑快 10 倍，以及模型自我优化推理的第一批真实案例。

核心要点

  • 10x 是行业目标：一个万亿参数模型在未优化的开源引擎上大约 30–50 tokens/秒，Baseten 的目标是做到 10 倍，即 300–400 tokens/秒，实际常见落点是 4–6 倍，靠多个 2x 优化相乘叠加得到。
  • 量化多反而更准：研究员 Joshua 证明可以预测哪些层的量化误差会互相抵消，选中这些层量化，得到比 Nvidia 官方量化多 20% 量化比例、KL 散度更小的 GLM 5.2，论文原稿 72 页，砍到 39 页发布。
  • spec 加量化占九成：Philip 和 Ali 一致认为，speculative decoding 加量化两项就贡献了约 95% 的加速；BF16 到 FP8 约 30–40%，FP8 到 FP4 再 30–40%，speculator 约 2x，PD 分离再约 2x。
  • 开源模型可以拼装：Baseten 的 Harry 把 Kimi 的视觉编码器嫁接到 GLM 5.2，冻结编码器和主干、只训 projector，MMMU Pro 达 56%，结果是「Kimi 的眼睛、GLM 的权重、DeepSeek 的注意力」同处一个模型。
  • 模型开始优化自己：GLM 5.2 接进 Claude Code 后自动分析 profiling trace、定位瓶颈 kernel、重写并回归验证，Baseten 推理引擎中服务 GLM 5.2 的部分 kernel 由 GLM 5.2 本人写成。
  • 视频卡在 token 爆炸：5 秒 480p 视频压到 latent 后仍有约 3.5 万 token，注意力是平方复杂度，一分钟镜头基本算不动，稀疏注意力则严重掉质量，Ali 判断出路在自回归视频，但今天的开源自回归视频模型质量都很糟。
  • 持续学习赌 KV 而非权重：Ali 曾主张把新知识写回权重，后来在与 Charlie 的争论中认输——改权重只能改一阶事实，无法参与二阶推理；KV cache 压缩才是方向，而这意味着推理链路几乎不需要改。
推理的十倍战争：当 GLM 5.2 开始写自己的 GPU kernel 信息图
一图速览本期内容（点击查看大图）

章节时间轴

详细内容

一次 20 万 token 请求，系统里发生了什么

主持人开场就抛出一个很具体的问题：往 Baseten 塞 20 万 token 的请求，中间经过哪些环节。Philip 的第一反应不是讲 GPU，而是反问「你之前发过这个请求吗」——因为最省钱最省事的路径是命中缓存。系统首先做 cache-aware routing：在服务该模型的若干副本里，挑一个既有空闲 prefill worker、又已经缓存了部分输入的实例，尽可能跳过这 20 万 token 中的一部分 prefill。

如果没命中，请求就进入 prefill worker。Baseten 在部分模型上做了 prefill 和 decode 的分离（PD disaggregation）：一组 GPU 专门处理输入、构建 KV cache、吐出首 token，然后把状态交给另一组专门做 decode 的 GPU 逐 token 生成。decode 前面还挂着一个 speculator（草稿模型）。Philip 说，20 万 token 大概率是编程或多轮 agent 场景，所以系统会假定这是代码流量，用一个对代码流量优化过的 speculator，草稿 token 接受率会很高；「如果我猜错了，你其实是让我总结每一本《哈利·波特》，那就会慢一些」。

Ali 补充了 speculative decoding 的机制：在大模型上挂一个「寄生」小层，它连续做三次极快的自回归前向，猜出三个 token，然后大模型做一次完整前向来验证，接受或拒绝。关键在于草稿模型是流量特化的——如果他知道你只做《哈利·波特》摘要，他可以只用《哈利·波特》训练草稿模型，几乎保证三个 token 全接受。这也正是共享端点做不到的事：共享流量里根本不知道用户在干什么。

这引出了从按 token 计费切到专属部署的判断标准。Philip 列了几条：可靠性（不用被别人 1 亿 token 的 benchmark 流量挤到）、专属 speculator、自选精度（如果 NVFP4 量化过不了你的评测就跑更高精度）、以及针对吞吐或延迟单独调 batch size 和并行策略。主持人补了一句他自己的观察：真正大流量的用户直接按小时租机器往往便宜得多，代价是要自己把机器喂饱。

支持一个新模型：能吐 token 和能上生产是两回事

主持人问：GLM 从 5 到 5.1 到 5.2，你们不是早就支持过了吗，还要做多少工作？两位嘉宾的回答都是「很多」。

Philip 先划了一条线：让模型吐出一个 token 不难，因为 vLLM、SGLang 这些开源引擎经常提前拿到权重，模型作者或维护者会直接提 PR 保证支持。难的是每家推理公司都有自己的私有栈——一部分开源组件、一部分自研——任意新模型都会撞上新东西。即便是 Kimi 从 2.5 到 2.6 这种纯继续后训练的情况，也必须重做量化（模型通常不以 NVFP4 发布，而他们希望跑在 NVFP4 上以吃满 Blackwell），还要重新校准量化以确认智力没有回退，并重新训练 speculator。而训 speculator 必须用真实模型权重，因为训练数据就是模型在特定 prompt 上跑推理时吐出的 hidden state。

架构层面每一代都有新花样。GLM 5.2 上了 DSA 稀疏注意力（从 DeepSeek 借来的），运行时要专门支持。MiniMax M3 的头部用了全注意力，导致 KV cache 极大、speculative 阶段出现严重瓶颈，Baseten 的做法是直接把这一层换成来自其它模型的 GQA 层，再配合恰当的训练把接受率拉回来。Ali 由此得出一个判断：训练和推理的边界正在消失——「你需要很好的训练，才能做很快的推理，这件事越来越成立」。

最有意思的是视觉嫁接。GLM 5.2 没有视觉能力，团队成员 Harry 把 Kimi 的视觉编码器接了上去。编码器冻结、主干权重冻结，只训练中间那个几百万参数的 projector——用 Ali 的比喻，眼睛冻着、大脑冻着，只训练眼睛到大脑之间的连线。最初训练方式是「这是一张山的图片，描述一下」，效果只到勉强能识别；改成每张图配一组问答（这张图里有白人男性吗？右上角有鸟吗？里面有科学家吗？）之后，能力明显跃升。最终 MMMU Pro 拿到 56%——不算前沿，但 GLM 5.2 原有能力零损失，没有图像输入时直接跳过编码器，行为和原模型一模一样。Philip 说这就是开源的美妙之处：你最后得到的是「Kimi 的视觉、GLM 的权重、DeepSeek 的注意力」拼在一起，比任何单一模型都更好。

上线之后还有第二场战争。GLM 曾出现 mode collapse——特定温度下对特定 prompt 反复吐同一个 token，最常见的是字母 S，DSV4 也有类似问题。Baseten 的兜底是检测到同一 token 连续出现四次以上就终止并重试，同时排除掉表格分隔线这类合理重复的特殊字符。但更棘手的是根因：Ali 说这不是权重问题，因为同样的权重换个推理引擎（SGLang 换 vLLM）问题就消失；有时把 Nvidia 最新镜像的改动 upstream 进来就修好了。他们甚至遇到过一个模型在 A 集群永远正常、在 B 集群必然出问题的案例，原因是 B 集群节点间 KV cache 传输走了更慢的互联，从而暴露出 kernel 里的竞态条件——比如缺一个 barrier，某些线程在数据写入寄存器之前就读取了。主持人的反应是「所以到底是软件问题、权重问题还是硬件问题」，这也正是产线调试最难的地方。

量化的反直觉：多量化几层，反而更准

主持人问了一个基础问题：怎么保证优化之后模型质量不变？Philip 先做了分类——绝大多数推理优化是无损的：KV caching 只是避免重算，speculation 猜错就会被拒绝。唯一有损的是量化。量化的质量取决于三件事：数据格式、选哪些层量化、以及在量化权重上做多少校准以保住离群值。

他还给出了自己对「质量」的定义：不是绝对分数，而是对原始模型的保真度。设想存在一个完全按设计行为运行的「黄金实现」，推理优化的目标就是在逼近 100% 保真的前提下尽可能快。Baseten 的内部标准是用户不应该分辨得出他们的 API 和官方 API 的区别。这也是为什么 Kimi 会推出 vendor verifier：几个月前有厂商（提到 Amazon）在 Kimi 的评测上表现很差，而用户不会说「Amazon 量化得不好」，只会说「Kimi 不行」——所以模型方有强烈动机去做供应商核查。

真正的新东西来自研究实习生 Joshua 的工作。行业默认「量化越多损失越大」，但 Joshua 的两个月研究给出了反例：如果模型 A 量化了第 1、5、10 层，模型 B 只量化了第 1、2 层，A 有可能反而更准，因为不同层的量化误差方向不同、会互相抵消——一层往右偏、一层往左偏、再一层往右偏，最终 logit 分布反而更接近原模型。Joshua 给出了数学证明和验证器，可以预测哪些层的误差会抵消，从而挑选这些层去量化。结果是比另一家供应商（Nvidia）多量化 20% 的层，因此多拿 20% 吞吐，同时保真度更高。验证方式不是跑 benchmark，而是直接计算量化模型与全精度模型 logit 分布之间的 KL 散度——分布越接近，行为越忠实。这篇论文原稿 72 页，最后压到 39 页发布。Ali 特别澄清：这不是让模型变好，只是让误差互相抵消，量化本质仍是有损的。主持人则联想到剪枝，认为思路相通。

关于「量化会不会反而变好」，Philip 的回答很克制：模型本身非确定性，跑 benchmark 时 NVFP4 量化版本比原版高两个基点是常有的事，但那是噪声。他甚至说自己已经不爱用「在误差范围内」这个说法了，因为大家会默认那意味着「勉强踩在下限」。

10x 从哪里来：优化项的乘法结构

主持人拿 Philip 那篇文章里的例子发问：官方 API 70 tokens/秒，你推到 90，这算正常水平吗？Philip 的回答是这个量级根本不够看。他用金融做对比：量化金融今天衡量进步的单位是基点，五个基点就是大新闻，因为一切都被优化到极致了；而推理领域发论文还在讲 20%、100%、200% 的提升。「等到研究者开始发论文说自己快了 1%，你就知道推理基本被解决了。」主持人接话说自己是金融背景出身，70 年代的量化金融研究确实也是几十个百分点的量级，并推荐了 Andrew Lo 关于统计套利价差从 70 年代的 20% 收窄到今天几乎归零的论文。

具体的数字结构是这样的：一个万亿参数模型，不量化、跑在 Hopper 上、用现成开源引擎、没有 speculator、没有 KV 路由、没有 PD 分离，大约在 30–40 tokens/秒。要做到 10 倍（300–400 tokens/秒），需要同时满足：最好的硬件、优化过的 speculator、做完全部量化工作、较高的缓存命中率、以及为延迟而非吞吐调过的小 batch size 和并行配置。Philip 承认 10x 很激进，实际更常见的是 4–6 倍，但这才是让他们兴奋的量级，而不是 70 到 90。

拆开看：BF16 到 FP8 大约 30–40%，FP8 到 NVFP4 再乘 30–40%，两步合起来还不到 2 倍；speculator 大约 2 倍；PD 分离在硬件够、流量够的前提下再约 2 倍；再加上更新的运行时和 kernel 带来的两位数百分比。Ali 强调其中一部分是硬件红利——从一个节点 H100 换成四节点 B200 当然更快——同硬件同卡数下，纯推理优化能拿到 2–4 倍。主持人追问性价比，两人几乎异口同声：speculative decoding 加量化，就是 95%。

对普通人自己托管的建议也很务实：今天不需要自己量化，总会有人发布 NVFP4 权重，Nvidia 不发别人也会发；也不需要自己训 speculator，供应商通常会公开自己训的，很多模型（如 GLM 5.2）本身就带 MTP 多 token 预测头。自己从零做的话，量化权重是「懂行的人几小时到几天」，speculator 同样几小时到几天，PD 分离第一次搭很难但边际实现不难。

主持人问为什么没提 Dynamo。Philip 的定位很清楚：Dynamo（Nvidia 的开源库）不是开箱即用的系统，而是一个开发工具包——它擅长的是在集群内搬运信息，协调 NIXL 把 KV cache 从一处移到另一处，pip install dynamo 不会自动给你巨大提速。

硬件走向：mega kernel、Rubin 与 ASIC 之争

主持人抛出硅谷的 mega kernel 热潮，Ali 直接表态看空。他的理由有两层：一是理论上有限制——张量并行下矩阵被切在不同 GPU 上，遇到 softmax 这类非线性操作必须拿到完整的一行，无论你怎么融合 kernel，跨 GPU 通信都跑不掉；二是工程现实——写一个真正优化的 mega kernel 极难，他接触过做融合 mega kernel 的公司，实际生产里往往还是不用，因为 TRT-LLM 和 Modular 那些逐组件优化、彼此并行的 kernel 更快。更致命的是，一位 Nvidia 技术负责人前一天在推特上揭幕了 Rubin 的规格，其中一条显示 GPU 的设计基本上「杀死了 mega kernel」，Ali 判断这个研究方向不会再继续。

Philip 从三轮硬件周期的经验给出 Rubin 判断。他强调硬件上架和硬件真正适合推理之间有很长的时间差——vLLM 最初是照着 Ampere 写的，之后为 Hopper、为 Blackwell 一轮轮改，每轮都更快更急也更复杂。看 Rubin 时他把 Dynamo 当作技术线索：NVFP4 张量核心的算力继续暴涨、内存带宽继续变快，但真正的变化是「更系统性的思维」——CPU 到 GPU 的互联、GPU 之间的互联被大幅强调，而 Dynamo 整个系统的设计目标就是「在需要的时候把 KV cache 搬到需要的地方」。他的结论是：KV cache offloading、KV-aware routing、PD 分离在 Rubin 时代会显著更重要，推理工程不再只是 CUDA kernel 问题，还是传统硬件基础设施问题。

Ali 把这个判断再推一步：他认为推理正在变成一个几乎纯粹的基础设施问题，因为 GPU 正在朝 ASIC 方向演化——有了 CuTe DSL 这类抽象，你操作的单位是 tile 而不是 thread，线程级控制正在被替你接管。由此他向主持人提出全场最尖锐的问题：既然 Nvidia 每一代都在加更专用的张量核心、更专用的 MMA 指令、TMA、tensor memory，指令形状几乎是照着当下模型的 head dimension 定制的，Rubin 相比 Ampere 已经基本就是个 ASIC，那你怎么还能看多做 AI ASIC 的公司？

主持人的回应分两层。第一，他确实看好垂直整合的模型实验室自研芯片（比如 OpenAI 和 Broadcom），并引用了 Martin Casado 在本播客说过的逻辑：如果你有一次 5000 亿美元的训练投入，拿出 500 亿做 ASIC 完全合理，即便只多拿 10% 效率。第二，独立 ASIC 公司做的其实不只是 tile 这一层，他们在存储与硬件的空间分配、芯片间通信上做的工作，量级可能超过 Rubin 能通过编程达到的范围——「真正阻挡 10x 到 1000x 推理的，不是能在现有 GPU 设计里重排的那部分东西」。Ali 也承认把权重烧进芯片不现实，因为你要微调、要量化、要发新检查点，芯片一两个月就废了。Philip 补的一句是：芯片设计周期长达数年，Rubin 其实是第一款完全在「公开的 MoE 架构已经存在」的世界里设计出来的芯片，你能从它的设计里看出 Nvidia 对负载形状的理解。

另一个反复出现的主题是本地推理与数据中心推理的差异。Philip 的概括很精炼：本地 AI 的问题是「怎么把模型塞进硬件，然后让它别那么笨」；数据中心的问题是「怎么把模型装进去，然后让它别那么慢」。他认为数据中心应该向本地社区学习——他们在各种量化尤其是动态量化、剪枝、蒸馏、去层上是专家，而且这个领域的开放程度值得敬佩。Ali 举了 Turbo 量化的例子：它在 MacBook 上极其有用，因为内存带宽是瓶颈；但放到 B200 上，kernel 内反量化的开销大于省下的带宽时间——B200 的 HBM 有每秒 3.5 到 4.5 TB，你根本不需要那么省存储。同理张量并行依赖 NVLink 级别的高带宽互联，本地场景只能退回流水线并行，而后者只有在被迫做多节点推理时数据中心才会用。

硬件账本上他们给了几个具体数字：B200 每卡 180GB，H100 只有 80GB（Philip 自嘲「我老了，我还记得 H100 的规格」），GB300 每卡 288GB。最新的 Kimi 约 2.8 万亿参数，NVFP4 下每参数半字节，约 1.4TB，必须八张 GB300 才装得下——而且还要给 KV cache 留空间，参数量和上下文长度会直接抢地盘，这也是为什么 KV cache offloading 在超大模型时代会更突出。

视频与音频：另一套完全不同的推理问题

Ali 说视频扩散和 LLM 几乎没有共同点：不做 batching，一个请求就占一张 GPU；模型小得多（Wan 2.2 只有 200 亿参数）；也不需要分片。但开源与闭源的差距完全相反——LLM 领域开源与闭源的差距已经从半年缩到几乎没有（Kimi K3 已经接近 GPT 5.5 那一档），视频领域的差距却是天堑。他打了个比方：即使他能把开源模型的三小时电影生成成本压到 10 美元，而闭源要 1000 美元，媒体公司还是会用 Veo，因为便宜 100 倍也改变不了质量差距。结果是需求少导致创新少、开源检查点更少的鸡生蛋循环，连原本开源的实验室也开始闭源最新版本。

技术瓶颈是 token 爆炸。16 fps 是最低可用帧率，480p 分辨率下 5 秒就是 480×720×81 帧，压进 latent space 后仍有大约 30×50×21 个 token，即约 3.5 万 token。注意力是平方复杂度，10 秒、20 秒、30 秒直接平方上去，想生成一分钟的完整镜头在同等算力下基本不可能。于是只剩两条路：要么做稀疏注意力（每个 token 只关注最重要的 12.5%，靠空间和时间局部性——王冠的 token 关注头部、脸、以及前后帧的头部），代价是视频质量明显变差；要么咬牙用巨大算力对上百万 token 做全注意力。

Ali 的判断是未来押在自回归视频上——那样才能突破 5 秒边界、做到一小时的电影，而且能直接复用 LLM 那套优化（speculative decoding 等），还能像 2023 年 GPT 那样边生成边流式播放。但他非常直白地说，今天每一个开源自回归视频模型的质量都很糟糕：Wan 2.2 能生成一只猫和一只狗打架，自回归模型给你的是画质退化版的《猫和老鼠》。

现实中的折中是拼接。Grok Imagine 之类的产品把 7 秒片段缝起来，做得相当好，但方法闭源。开源能做到的最接近的方案是拿上一段的最后一帧，走 text+image to video 生成下一个 5 秒。问题是漂移：第二段比第一段暗一点，第三段更暗，第四段再更暗，大约 25 秒之后就是一片黑屏——Ali 说他们本来准备了个 demo 展示这个现象，因为太难堪最后没放。

Philip 从架构角度补了根本原因：扩散是双向的，可以在整个序列上反复迭代、回头修改过去让整体一致；自回归只能向前，naively 把视频当成线性帧序列生成，就必然跑偏。他判断最终架构会是自回归和扩散的混合，各干各擅长的事。Ali 打了个直觉比方：写英文是天然从左到右的，你可以边写边想下一句；但视频里左上角的像素和右下角的像素几乎同等程度地需要互相关注，没有天然的时序方向。

音频那边的答案则简单得多。主持人问一年前音频领域也有扩散与自回归之争，现在怎么样了。Philip 说音乐他不确定，但语音已经全面自回归——早在一年半前的 Orpheus 架构就是这么做的：往词表里加一堆波形，让 LLM 直接输出代表波形的 token，再构造出语音，天然可流式。主持人的反应是「就这样？哇」。Philip 说这就是他 2025 年 AI Engineer 大会那场演讲的内容。他整体的分类框架是：文本、embedding、语音输入输出属于自回归阵营；图像和视频属于扩散阵营；两边有重叠但大体如此。主持人指出 Nano Banana 和 GPT image 已经确认是自回归图像模型，属于混合路线，只是还没传导到视频领域的开源世界。

文本扩散那边动静不大。Baseten 托管 Mercury，Diffusion Gemma 也开源了，但参数量都在 20 多 B 这个量级。Philip 对这类产品有个明确的批评：营销方式错了——你不可能在「便宜快 token」这条赛道上赢过 LLM 的推理优化，但你完全可以提供不同形态的 API。既然是扩散，就该有文本版的 classifier-free guidance，该支持「给我一首诗、给我一个情节结构」然后整体扩散成型的用法。他举了自己的例子：LLM 写十四行诗一直是他的常用基准，至今模型都数不对音节，而如果能在所有 token 之间双向关注，音节问题就能解决。主持人补充说 Mid Journey 的 David Holtz 曾投资文本扩散，思路是先扩散出整部电影的分镜再用常规视频生成，「结尾应该关注开头、不该有自回归的路径依赖」这个原则本身是成立的，只是 API 和营销都该不一样。至于文本扩散为什么没起来，Philip 的看法是鸡生蛋：根本没人给它上过大规模。

训练与推理正在合并，以及模型开始优化自己

最后一段主持人指出，推理工程曾经就是「拿个开源模型，让 GPU 转起来」，现在推理越来越多地进入后训练。Ali 把这拆成双向的两件事。

「推理服务于训练」：RL 训练需要大量 rollout，如果你用的是 vLLM 而不是 TRT-LLM、或者你要训的模型在 TRT-LLM 里没支持只能退回老引擎，rollout 就慢；而你又不能拿太 off-policy 的 rollout 去训练，只能等——于是整条训练流水线被推理卡住。他们做的推理优化在这里直接有用。

「训练服务于推理」：speculator 和 eagle head 都要训；量化有时候 PTQ 就够，有时候量到 NVFP4 质量崩掉，必须做后训练让模型「理解自己现在是 FP4」还能输出同样的 logits——可以用普通 SFT 或量化感知训练，Nvidia 还发过量化蒸馏的论文，让 FP4 版本和全精度版本并存、基于两者的 logits 做蒸馏训练。结果是 Baseten 的推理工程师现在必须熟悉训练技术、能写训练流水线。

Philip 顺势描绘了终局：一个持续改进的系统。他预测未来几个月到几年内，领先的 agent 构建者会在生产环境里跑通这个闭环——做推理、从推理里学习、任何动态调整都会打败静态配置（speculator 配置、并行配置皆然），再把产品产生的 trace 持续拿去后训练、灰度发布、A/B 测试，得到更好的信号、更好的模型、更好的产品。主持人提到 AI Engineer World's Fair 的标语「RSI until AGI」，现在模型训练模型已经成立，下一步就是模型优化自己的推理。

然后 Ali 给出了本期最具体的例证。他们内部把一个 GLM 5.2 端点接进了 Claude Code harness，全工程团队都在用。这个循环是：GLM 5.2 在自己所在的节点上跑一次前向、拿到 profiling trace、分析出 SGLang 里成为瓶颈的 kernel、写出新 kernel、再跑一次 profiling 验证，完成后把镜像推上去，团队拉下来再跑一轮。「有相当长一段时间，我们是用 GLM 5.2 在优化 GLM 5.2，今天我们推理引擎里跑 GLM 5.2 的部分 GPU kernel 就是 GLM 5.2 写的。」他也很坦率地补了短板：模型仍然会想方设法 reward hack 找最省事的路，决策能力明显不行。Philip 追问了一个有意思的问题：GLM 5.2 是特别擅长优化自己，还是它只是当时手里最好的编程模型、去优化 DeepSeek 或 Kimi 也一样好？答案是没人试过——主持人的建议是「你算力比我多，你去试」。

对话最后落在持续学习上。主持人问：如果推理系统的前提变成「你应该从处理过的每一件事里学习」，推理形态要不要变？Ali 说他和 Charlie 在推特上争过，路线只有两条：一条是把新知识不断写进权重，那推理侧只需要不断拉取新权重（或者只更新 LoRA 层，这是 engram 路线）；另一条是 KV cache 压缩。他曾支持前者，后来认输了，理由是权重编辑只能修一阶事实——你可以把「世界上最好的大学是 Waterloo」写进去，但当你问「我该从 Waterloo 还是 MIT 招实习生」这种二阶推理问题时，模型会说「都不错」，完全没用上你刚编辑进去的知识。而如果像他们发的那篇论文那样把 KV 做到近乎无限、压缩过程不丢知识，持续学习是真的能解的。他的结论对推理侧反而是好消息：那样的话推理几乎不用变——还是用 KV cache，只是多一步更新，权重不变、推理时不变、speculative 也不变。主持人的评价是「意外地是个好答案」。

金句

本地 AI 的问题是：怎么把这个模型塞进我的硬件，然后让它别那么笨。数据中心推理的问题是：怎么把这个模型装载进来，然后让它别那么慢。 —— Philip Kiely 48:21
我们发布优化成果时，说的是 20%、100%、200%。等到研究者开始发论文讲自己怎么快了 1%，你就知道推理这件事基本被解决了。 —— Philip Kiely 34:30
有相当长一段时间我们是用 GLM 5.2 优化 GLM 5.2——今天我们推理引擎里跑 GLM 5.2 的一部分 GPU kernel，就是 GLM 5.2 自己写的。 —— Ali Taha 93:41
突然之间你就有了一个同时拥有 Kimi 的视觉、GLM 的权重和 DeepSeek 的注意力的模型。这就是开源的力量和美妙之处。 —— Philip Kiely 19:57
我认为它正在变成一个纯粹的基础设施问题——GPU 越来越像 ASIC，你只是在编排 GPU 上发生什么，而不再逐线程地控制它。 —— Ali Taha 62:07
真正阻挡 10x 到 1000x 推理的，不是那些能在现有 GPU 设计内部重新排列的东西。 —— 主持人 67:30

提到的书·产品·人物

适合谁听

想搞清楚「模型跑得快」到底是哪些工程动作换来的推理工程师、AI 基础设施创业者，以及需要判断自托管还是买 API 的技术决策者。

← 返回全部观看原片 ↗