核心要点
- 9800 万种子轮：Engram 主攻持续学习与记忆，把大规模语料压进权重，团队自称是这个细分领域最专精的班底，成员多来自 Stanford、Cornell、Berkeley 的实验室。
- Cartridges：把一大堆语料让模型提前"自我出题、自我测验"再用梯度下降训练，得到可即插即用的知识胶囊，压缩率号称约 1000 倍，用时 token 更少、更不易confused。
- 上下文腐烂：即使塞进 1000 万 token 不报错，模型也未必能整体推理，喂得越多越confused，这是 context rot，Dan 认为它在超长窗口下依然存在。
- 权重优于 RAG：面对"今年哪些并购没做完"这类需读遍所有 client matter 才能答的整体性问题，RAG 检索不到，Frontier 模型加 compaction 一次查询可能烧掉数千美元。
- KV cache 之痛：Llama 70B 读一篇几十 KB 的 Wikipedia 文章，GPU 上的 brain state 竟达约 80GB，而整个模型参数才约 140GB，内存效率极低。
- 效率即智能：Dan 反对"高效等于廉价"的偏见，主张下一个范式是 do more with less，用更少能量解更难的问题，多家实验室 leader 也在往这个方向走。
- 最终愿景：每个人拥有属于自己、可控、越用越懂自己的一份权重，像养 Tamagotchi 一样，长期甚至能跑在个人设备上。
章节时间轴
- 0:00 开场与嘉宾介绍 — 欢迎 Engram 联合创始人兼 CEO Dan Biderman，祝贺 9800 万种子轮，今天由他带做地中海风味牛肉丸。
- 1:31 从特种部队到 AI 研究 — Dan 回顾在特拉维夫成长、以色列海军特种作战、认知神经科学与计算神经科学博士的路径。
- 4:32 以色列文化与军队 — 谈参军如何培养社交能力与成熟度，以及"人生有多次射门机会"的文化。
- 6:52 为什么做 context 这件事 — 从半监督学习、数据效率讲到在 Chris Ray 实验室做 minions 与 sub-agents。
- 9:11 Cartridges 与厨师直觉的比喻 — 用训练造出高压缩知识胶囊，让模型拥有超越菜谱的直觉。
- 13:44 笔记与神经系统:两者都要 — 知识工作者既需要记笔记也需要大脑,未来企业将有万亿 token 的内部数据。
- 17:37 Context rot 与 compaction — 解释为何长程 agent 任务下模型准确率下降,compaction 有损但仍是方案一部分。
- 22:12 测试时训练与 KV cache 系统问题 — 从预训练类比讲信息压缩,拆解 prefill/decode 分离的系统视角。
- 24:29 企业实例:Harvey 与并购查询 — 用律所/投行客户档案说明整体性难题为何非训练不可。
- 26:49 参数高效微调的雄心 — LoRA、cartridges、memory layers,人人拥有自己的权重。
- 29:52 权重 vs 笔记的边界 — 哪些知识该内化进权重、哪些该外化成文本,是人类记忆研究的百年难题。
- 34:29 routing、团队与人才 — 谈模型路由、混合研究者团队文化,以及招聘方向与 call to action。
详细内容
一、从海军特种部队到 AI 研究者
Dan 强调"事后看很容易连点成线,当时并非如此"。他在特拉维夫长大,作为军官从事海军特种作战——这段经历他形容"非常创业":核心是去发现和识别一些疯狂的点子,再向别人证明值得投入资源和人力去实现,过程包含大量 researching、pitching 和硬活。2:16
退役后他在以色列读认知神经科学,那是一个连以色列小说家、科学家甚至名厨都出身其中的特别项目,让他对大脑、人类行为和统计产生兴趣。随后他到纽约读计算神经科学博士。他特别指出,计算神经科学是那种"在神经网络成为热点之前几十年就一直执着于它"的 stubborn community。3:01
看到 ChatGPT 后,他决定深入 LLM 世界,先去 Mosaic 做 LoRA,再到 Stanford 跟 Chris Ray 和 Scott Linderman(两人都是他现在公司的联合创始人),并在那里遇到联合创始人 Sabri,以及来自 Cornell 和 Berkeley 实验室、研究相似课题的 Jack 和 Jesse。3:47
谈到以色列文化,Dan 认为参军最重要的不是别的,而是 18 岁就要承担责任、和成年人打交道、为自己的预算据理力争,这逼你建立社交能力和成熟度。他也坦言这有代价:他 24 岁才上大学,相当于美国人读博的年纪。他反复强调以色列文化给人"多次射门机会"——高中不出色可以在军队翻身,军队平庸也能在大学发光。6:05
二、Engram 要解决的问题:上下文、持续学习与记忆是同一件事
主持人问他为何聚焦 context 问题。Dan 回到自己的学术根基:他博士做的是 semi-supervised learning——不是拥有无限万亿 token,而是只有极少样本,要从中高效外推学习。他说自己所有论文都是同一张图:x 轴是某种成本/资源,y 轴是准确率的 Pareto 曲线,主题永远是"用更少做更多"。7:38
在 Chris Ray 实验室,他做了名为 minions 的 agent 工作,研究如何让 agent 以经济的方式与超大语料交互,并较早引入了 sub-agents 的模式。从效率和成本的视角出发,他和 Jesse、Sabri 开始并行思考一个问题:除了 agentic orchestration,能不能用"训练的魔法"造出更快、用更少 token 也能运作的模型。8:25
关键思路:给模型一大堆语料,让它提前花时间去研究——自己出题、给自己做 quiz、尝试解题——再像预训练那样用梯度下降训练它。这样就能得到极其紧凑的上下文表示,他们称之为 cartridges(知识胶囊)。这些胶囊像描述模型世界观的 brain state,可以随时 load in/out,压缩率约 1000 倍,使用时 token 更少、更不confused、更准。9:56
Dan 澄清一个关键立场:他们从不认为文本表示无用。最好的厨师都有笔记、书、日记,记录哪些实验成功哪些失败;但他们同时有大脑、有手、有能回忆味道的舌头。他要的是"两全其美"——文本笔记 + 那层由参数(数字)构成的直觉与学习层。他打了个比方:知识工作者若不能记笔记会吃亏,但若每晚被抹掉记忆同样会严重吃亏。12:59
三、为什么 RAG 与 compaction 不够:context rot 的宿命
主持人追问:这跟 RAG(只取有用的 chunk 放进 context)有何不同?Dan 说 RAG 是很好的方法,但他抛出一个研究界的 thorny question:能否造出一个"只有 in-weight training 有效、in-context learning 必然失败"的例子?结论是很难——因为对任何例子,别人都能反问"如果下一代模型有 1000 万 context window 呢?"18:22
因此 Dan 的科学判断是:把持续学习和记忆的问题,都看成伪装过的长上下文问题。假设模型能看到整个公司数据、拥有无限上下文窗口,限制在哪?限制有二。第一,即使在很小规模也已知:喂的上下文越多,模型越confused,即 context rot——塞进大量 token 不报错,不代表模型能对它们做整体推理。19:09
关于 compaction(模型自己管理上下文、驱逐部分 token、保留其他),Dan 说它在一天天变好,会是方案的一部分,但它 by definition 是有损的,而且很"确定性"——要么在要么出。在深入会话后,当前版本的 compaction 会出现confused和 forgetful 的问题。所以他们认为另一部分方案是某种 neural memory trace——同样有损,同样驱逐一些保留一些,但不是在文本表示里,而是在权重表示里。20:40
第二个限制关乎成本与规模。持续学习的必要性,一是 token 效率与成本(去年创业时这还不是大问题,现在变得紧迫);二是当你能用更少资源做同样的事,scale up 后就能承接以前做不到的、更长程、更 adaptive 的任务。Engram 目前聚焦第一件事:让模型在大上下文上用更少 token 推理、且更不confused。21:26
四、KV cache 的系统视角:摧毁 prefill
Dan 给出一个震撼的数字。拿 Llama 70B,加载一篇几十 KB 的 Wikipedia 文章(比如关于 Taylor Swift 的),模型读取时在 GPU HBM 上的 brain state 竟高达约 80GB;而整个模型参数(FP16)约 140GB。也就是说,那 100 多 GB 的参数(带些失真)代表了整个互联网,而这一篇文章却占用同一数量级的 GPU 内存。这是极度的内存低效,是 KV cache 这头怪兽的系统问题,全世界最聪明的人正从芯片端和内核/软件端去解。22:58
从系统角度看 Engram 在做的事:与其让模型不断 prefill(读、读、读一整个语料),他们相当于摧毁 prefill——把训练算力挪到另一个时间去 scale,这样就能把知识直接 load 进模型,模型几乎立刻开始 decode,或只 prefill 一点点。Dan 指出这与数据中心建设的趋势一致:把 prefill 和 decode 分离(disaggregation),在不同的专用卡上做,这也是他们最初的兴趣点之一。23:43
五、企业实例:Harvey 与"整体大于部分之和"的难题
Dan 举了他们与 Harvey 合作的场景:律所或投行有大量 client matter、超大文件系统,客户做融资、并购、贷款、各种 deal。很多 agent 会遇到那种"ambient hard questions"——不容易被 RAG 检索到。24:29
典型例子:"今年我们有哪些 M&A deal 没完成?"要解这个问题,你得逐个 client matter 去读所有文件,因为没有任何一处会写"这个没完成"——你必须抓住 gist,理解"这个 loop 没闭合、这件事没做完"。用 Frontier 模型加 compaction 现在能做,但一次查询会烧掉数千美元,而 Dan 认为这类问题很"harmless",公司里任何员工都能回答。25:16
他把这类叫做"whole is greater than the sum of its parts"的查询——读完全部才能得 gist,却无法在单个文件里找到答案。这正是训练的魔法登场之处,也正是 Ilya 等人用预训练展示给我们的:把整个 web 学进权重,模型突然能推断、泛化、内插外推到新事物。Dan 强调,我们训练时是把整个 web 学进去,而不是对整个 web 做 RAG,这不是巧合——从大量知识中学习会在模型里创造出这些 associations。26:03
他也诚实区分:一部分是当下的具体问题,另一部分是"18 个月后数据规模会大到必须用预训练那套方法"的 bet。26:49
六、参数高效微调与"人人一份权重"的愿景
主持人问是否在为具体公司做 LoRA 式的参数高效微调。Dan 说长期 ambition 是:每个人都拥有一个模型/一部分模型/一组权重,代表其知识与专长,越花时间、给越多数据,模型对他就越好,而且这组权重归他所有、由他掌控。他用 Tamagotchi 作比——越用心养,它越"开心"。26:49
他认为这不仅是研究问题,更是重大的基础设施问题。长期看这些会跑在个人设备上——新的个人电脑硬件很快能对接近万亿参数的模型做推理,对个性化很有意思。但短期,他们押注企业:企业里有大量密集、充满专长的知识语料,那也是人们花最多时间、AI 被用得最多的地方。28:21
技术上,他们的 bet 是像 cLoRA、cartridges、memory layers 这些参数高效微调方法(团队作为研究者都有贡献)能表示知识,并能与 context management、可追溯、可审计、人能理解的方法结合。所以是一种组合——再次回到那个比喻:厨师既有菜谱、食谱、日记,也有能从每次经历中学习的神经系统。29:06
七、权重 vs 笔记的边界,以及"让开路"的终极目标
哪些该进权重、哪些交给 RAG、哪些该 orchestrate?Dan 说这是他们和所有人的重大开放问题,而且不止 AI,人类记忆研究从诞生起就在问:什么该内化、什么该外化。他指出拥有"记住一切"能力的人往往并不享受——会分心、甚至恐怖,所以一定程度的遗忘是健康的。29:52
他认为正确做法是训练模型自己管理,在没有显式监督信号下,让模型自己判断"这类我从大脑里取,那类我宁可留在笔记里"。判断依据可能与数据的 salience、重复频率、affordance(知道这个事实能让你做什么)有关。比如记住今晚酒店房间号,就没有记住伴侣电话或自家地址重要——后者是更高信号的数据。31:24
关键在于:如果开始手动、启发式地规定谁进谁出,就变成打地鼠(whack-a-mole),因为每个企业、每个人的数据都不同。所以 holy grail 是让模型自学:给它一个 notebook 记笔记,给它一个联想式的参数高效"大脑"去读写,让它自己决定何时用哪个,并用无约束的训练方式学会——"然后我们让开路(get out of the way)"。32:09
关于 human in the loop:human 可以是 user,如果 user 明确要求保留/剔除某内容,模型应当听;但他们不想依赖 user 逐步监督。Dan 特别对比了普通模型的 thumbs up/down——那通常只是帮 provider 在下一版给你更好的东西;而在 Engram,你的反馈会让人 scale compute、专门练习变得更擅长你所说的,是更紧的闭环,用的是训练的机器,"没有不确定性,能 hammer 进去"。32:55
但他补充一个重要 caveat:并非 user 说的都是 ground truth。我们不都是爱因斯坦,可能自以为对而模型是对的;随着模型越来越强,它得学会 discern 哪些反馈有价值、哪些该忽略。33:41
八、routing、效率即智能与团队
被问到还差什么、什么已可能时,Dan 说更多结果会在未来几周几月公布,主题是围绕 token efficiency 的行为——模型能更快地去到该去的地方、更快解决问题。他给出一个智能观:变聪明意味着用更少能量去解越来越难的问题,在实践中体现为效率和速度。34:29
关于 model routing,Dan 认为它是很好的方向,很多企业和计算机科学家在研究它,因为我们有很多"杀鸡用牛刀"的模型——你不需要 Fable 来告诉你放多少水多少米,但当你要攻克超出自己 pay grade 的东西时,就需要知道何时该找 Fable。他说解决方案是 multimodal(多模型),不是 Engram 一个模型接管一切、然后"你可以关掉 Stargate 了"——那不是他们的路子。他把 Engram 的定位比作"你最好的朋友或员工":不能开除那个一直在你身后、能告诉你该看哪、该聚焦哪、还能带着更多 context 更有针对性地去问 Fable 的人。但 routing 和任何研究领域一样仍未解决,模型还在不断更新换版,把任务在正确时间以正确成本路由到正确模型仍需大量工作。36:00
谈团队,Dan 幽默地说他们最不擅长的恐怕是 diversity——全是研究者。但对于"记忆与持续学习、把知识塞进权重"这个 niche,他认为这是最专精的团队。团队 diverse 在 inclination:有人更 mathy、有人更 systemsy、有人更像 AI leader。做法是把经验丰富的 PhD 与像 Chisa、Drew 这样带着 momentum 入场的"cracked"新锐配对,让老手警告新人别掉进 rabbit hole。他强调团队从 25 年秋冬(那个前沿实验室疯狂抢人、AGI 焦虑弥漫的时期)创业起就很清醒:这里不是研究俱乐部,缺的是产品,产品要被分发,要靠卖出人们真心喜欢的东西来赢得入场资格。37:32
在招聘方面(call to action),除了研究侧的开放问题(如何不摧毁模型、如何低成本、学什么数据),这也是极其 ambitious 的基础设施问题:如果真有万亿 token 的企业/个人数据、每个人每个团队都有参数高效 adapter,就意味着数百万个分散存储的 endpoint,需要高效地从 disk 读到 HBM、在推理时使用、swap 和更新。他们想要 LLM 性能工程师(已有核心贡献 vLLM、曾任 Databricks 推理 lead 的 Cade Daniel)、基础设施工程师,以及所有 out of the box、有创造力、愿意投入有趣问题的聪明人。43:42
金句
当前的 LLM 就像每次都是第一次进厨房,读着菜谱、量着每一样东西做菜——但它们没有厨师那种捏一撮盐、揉面团的直觉。 —— Dan Biderman 11:27
如果不让知识工作者记笔记,他会处于劣势;但如果每晚抹掉他的大脑,他同样会严重吃亏。我们想要两全其美。 —— Dan Biderman 13:44
我把所有关于持续学习和记忆的问题,都看成伪装过的长上下文问题。 —— Dan Biderman 19:09
那一百多 GB 的参数带着些许失真代表了整个互联网,而这一篇关于 Taylor Swift 的文章却占用同一数量级的 GPU 内存。 —— Dan Biderman 23:00
效率与智能无法真正解耦;你能用更少做更多,就能解更长程、更 ambitious 的任务。 —— Dan Biderman 45:14
我的权重已经被更新了。 —— Dan Biderman 49:02
提到的书·产品·人物
- Engram(公司):Dan 的持续学习/记忆创业公司,刚完成 9800 万美元种子轮,官网 angram.com,邮箱 dan@angram.com。
- Dan Biderman(人物):本期嘉宾,Engram 联合创始人兼 CEO。
- Sabri(人物):Dan 的联合创始人,偏系统侧,公司里著名的 "surf and turf" 美食爱好者。
- Jack / Jesse(人物):联合创始人,分别来自 Cornell/Berkeley 语境,Jesse 研究人机协作闭环,Jack 帮团队清晰思考与表达。
- Chris Ray(人物):Stanford 教授,Engram 联合创始人,Dan 曾在其实验室做 minions。
- Scott Linderman(人物):Engram 联合创始人,与 Dan 同做统计方向。
- Mosaic(公司):Dan 早年工作地,在此做 LoRA 与 internet-scale 预训练数据。
- LoRA / cLoRA(技术):参数高效微调方法,Dan 在 Mosaic 参与,团队用于将知识塞进权重。
- Cartridges(产品/概念):Engram 提出的高压缩知识胶囊,可插拔的 brain state。
- Memory layers(技术):团队贡献的另一种参数高效知识表示方法。
- Harvey(公司/客户):法律 AI 公司,Engram 与其合作处理超大文件系统与并购类整体性查询。
- Cade Daniel(人物):Engram 成员,曾任 Databricks 推理 lead,vLLM 核心贡献者之一。
- vLLM(产品):高性能推理框架,Cade Daniel 为核心贡献者。
- Chisa / Drew(人物):分别来自 Stanford/Berkeley 的新锐研究者,加入 Engram。
- Assaf Rapaport(人物):Wiz CEO,Dan 的 mentor,两家关系密切。
- Fable(模型):节目中作为"高智能但昂贵"的前沿模型代称,用于讨论 routing。
- Stargate(项目):被 Dan 用作"一个模型接管一切"的反面参照。
- Ilya(人物):被引用为用预训练展示"把整个 web 学进权重可产生泛化"的代表人物。
- Thomas Keller / French Laundry / Samosat(名厨与菜谱):做饭比喻中提到的顶级厨师与烹饪书,用以对比"读菜谱"与"拥有直觉"。
适合谁听
关注 AI agent 长程任务、企业知识管理、持续学习与推理系统(KV cache、prefill/decode)的从业者与创业者。