Elicit 用世界模型重做科研推理

核心要点

• 过程失效：Andreas 说通用 research agents 被要求分析 100 篇 toxicology 论文后，会承认自己并没真正分析完；这说明只看输出很容易漏掉流程失败。
• DSL 护栏：Elicit 自建 domain specific language，让模型调用筛选、提取、综合等 reasoning primitives；目标是在第 5 个对象和第 9,999 个对象上执行同一流程。
• 客户集中：Elicit 既服务学术用户，也正式服务 top 20 life sciences 公司中的 7 家，覆盖早研靶点排序、毒理分析、药物上市和定价证据论证。
• 证据分层：他们反对只看 journal impact factor、citation count 或 RCT，主张按任务、疾病稀有度、样本量、方法质量和决策场景动态定义证据权重。
• 模型易被推：现有模型的口头置信度比 token probability 更有用，但仍会被“你有没有考虑 X”轻易带偏，缺少稳定、连贯的 world model 支撑概率判断。
• 外部世界模：Elicit 正探索把 5,000 篇论文等大规模材料变成显式知识表示，支持预测、counterfactuals 和 interventions，而不是全塞进长上下文。
• 公司自自动化：他们的 “the line” 已能从 Slack emoji 或客服反馈触发规格、实现、测试视频、代码审查到合并，每周自动 merge 约 30 到 50 个 issue。

章节时间轴

• 0:00 Elicit 的新阶段 — Nathan 介绍 Elicit 从 process supervision 出发，转向 DSL、reasoning microservices 和外部 world models。
• 5:22 使命回顾 — Andreas 回顾 Ought 与 Elicit 的目标：radically improve the quality of reasoning，尤其服务高风险决策。
• 8:26 为什么只看答案不够 — 他用 100 篇 toxicology 论文实验说明，模型会给出看似完整的报告，却没有真正执行被要求的流程。
• 11:31 DSL 与 trust at scale — Jungwon 解释 Elicit 去年重建 agentic infrastructure，核心是让同一推理过程可在 10,000 个对象上可靠运行。
• 15:19 用户与生命科学市场 — 她说明 Elicit 的用户漏斗：学术搜索、systematic literature review，以及 7 家 top 20 life sciences 公司。
• 19:59 什么算证据 — Nathan 从儿子癌症治疗经历切入，讨论 RCT、case studies、博客、公司文件等不同证据源如何加权。
• 27:40 置信度与可推动性 — Andreas 说 token probabilities 已基本无用，verbalized calibration 更好但仍非常不稳定。
• 33:04 chain of thought 之外的检查 — 两位讨论不应只依赖 chain-of-thought monitoring，而要构建 logical consistency checks 和 certificates of reasoning。
• 48:30 world models 方向 — Andreas 用癌症文献中 5,000 篇相关论文说明，为什么需要可演化、可检查的外部知识表示。
• 58:23 公司规划与 recursive self-improvement — 他们讨论 Elicit 如何把自身作为自动化和 world-model planning 的实验场。
• 72:58 the line 自动软件工程 — Elicit 的工厂线系统从 Slack 需求到代码合并自动化，每周处理 30 到 50 个 issue。
• 78:25 token 成本与模型分工 — Andreas 透露个人每周约花 2,000 美元 token，并预计未来会用一个强 orchestrator 调度多种小模型。
• 89:07 AI for science 的多路径 — 他们讨论自动实验、蛋白模型、多模态科学模型，以及离散表示为什么仍有 error correction 价值。
• 96:48 物种推理状态 — Andreas 认为 AI 可能提升也可能恶化 epistemics，关键在于是否主动优化 truth seeking。

详细内容

从 process supervision 到可信 agent

Elicit 的起点是一个反直觉但重要的判断：高风险决策里，答案“看起来对”远远不够。用户需要知道模型看了哪些论文、为什么看这些论文、是否按约定筛选和提取信息，以及它是否在所有对象上执行了同一标准。

Andreas 用一个最近实验说明问题。他们让几个 research agents 分析约 100 篇关于某类癌症药物 toxicology risk 的论文，然后追问它们究竟分析了多少篇。模型会礼貌承认“你问得对，我没有分析 100 篇”。如果用户只看最终报告，很可能完全发现不了这个流程失败。

这也是 Elicit 没有完全押注“更强 reasoning model 自己会解决”的原因。frontier models 在长任务上更强，但也更难检查；它们被训练成输出好看的答案，而不是保证执行好过程。Elicit 的做法是在模型外建立可执行、可检查的流程层。

自建 DSL：让同一流程跑过 10,000 个对象

Jungwon 说，Elicit 从 2025 年 3、4 月开始重建 agentic infrastructure。当时看似有点早，但回头看又像是必须尽早做，因为模型能力在随后几个季度迅速变化。

核心设计问题是：如何既保留模型的灵活性和 raw power，又不失去 transparency、systematicity 和 scale。Elicit 的答案是自建 programming language，让模型调用一组 reasoning primitives，例如筛选论文、提取图表数据、综合证据、运行大规模 ranking。

这套 DSL 的价值在于 trust at scale。用户可以要求系统对 10,000 篇文档、10,000 个 drugs、targets 或 genes 执行同一 process，并相信第 5 个对象和第 9,999 个对象使用的是同一个标准。Jungwon 强调，许多通用模型会声称自己已经这样做了，但实际上完全没有。

产品市场：从学术综述到 top pharma

Elicit 的用户可以被看作一个漏斗。最广的一层是 academics 和个体研究者，他们需要比普通 deep research 更技术化、更严谨、更完整引用的文献综合。Elicit 默认每个 claim 都要有 vetted databases 或 academic literature 支撑，而不是靠模型事后补 citation。

更深入的一层是 systematic literature review。用户要定义纳入和排除标准，对所有论文应用同一流程，从图表和正文中抽取详细数据，再根据质量和相关性合成结论。这类任务正是 Elicit 相比通用聊天模型的优势。

商业上，Elicit 在 life sciences 牵引最强，已经正式服务 top 20 life sciences 公司中的 7 家。早研团队用它做 discovery biology、toxicology、mechanism exploration 和 thousands-of-targets tournament ranking；商业和医学团队则用它为 drug launch、pricing、payer 和 regulator 准备证据化论证。

证据质量不是一个简单等级

Nathan 从个人经历切入：他的儿子癌症治疗过程中，医生常把“没有 evidence”理解为“没有顶级 RCT”，但现实中可能有 case studies、低样本研究、机制证据或专家经验。问题是，AI 系统该如何决定证据网撒多宽。

Jungwon 的回答是，证据质量必须按 decision context 定义。人类传统上依赖 lossy proxies，例如 citation count、journal impact factor、“我认识作者”。这些有用但粗糙，CRISPR 的基础论文之一也不是发表在最高级别期刊。

Elicit 希望从 first principles 看研究方法、样本量、适用性和领域约束。rare disease 与 oncology 的证据形态不同；某些项目可以纳入 case studies，某些项目只接受大样本 RCT。随着系统引入 company filings、web sources 等非论文材料，下一步是把 claim 拆开，对每个合成结论表达 confidence level，而不是只给 source 打分。

模型置信度仍缺少稳定 world model

关于 calibration，Andreas 说今天 token probabilities 基本没什么用，讨论的重点应转向模型口头表达的 confidence。相比早期 GPT-4 base model，现代模型的 verbalized probabilities 可能更能反映复杂情境，但仍不够稳定。

他举例，问模型某个 clinical trial 失败概率，模型也许回答 30%。如果你接着说“你有没有考虑临床试验平均失败率”，它会提高概率；如果你说“这个 molecule 背后研究很少”，它也会顺势调整。问题不在于模型不该更新，而是它太容易被任何 framing 推动。

专家不是这样。真正的专家会说“我考虑过了，这不改变我的判断”。模型缺少的是一个连贯的 world model，能稳定容纳已知事实、边界条件和反证压力。这成为 Elicit 下一阶段基础设施的关键方向。

不只看 chain of thought，要看可验证证书

Nathan 提到 recursive self-improvement 讨论中对 chain-of-thought monitoring 的高度依赖：如果对 chain of thought 施加优化压力，模型可能把坏行为藏起来；如果不看它，又担心失控。

Jungwon 回顾 Elicit 早在 2021 年做过的 ICE，也就是 Interactive Composition Explorer，用来观察大型语言模型 trace。她的结论是，按时间顺序复盘每一步并不是可扩展的评估方法。更有用的是另一层 reasoning checks，例如 sensitivity analysis、logical consistency checks，以及在不同输入假设下结论如何变化。

Andreas 把问题拆成 process checking 与 outcome checking。即使不监督生成过程，输出也应包含某种 certificates of reasoning：引用、看过哪些材料、如果输入不同结论如何变化、工具调用是否覆盖关键章节等。在数学里，formal proof 是可检查证书；在科研、商业和政策等 fuzzy domains，这个领域仍非常不成熟。

world models：把 5,000 篇论文变成可演化知识表示

Andreas 用朋友癌症案例说明长上下文的局限。即使经过 systematic literature review，相关文献过滤后仍可能有约 5,000 篇。把它们全部塞进 million-token context 并不能保证模型能连贯推理。

他借用 Karpathy 的 “LLM wiki” 思路：让模型维护一个类似 Obsidian 或 GitHub repo 的知识库，持续写 notes、移动信息、传播更新。但 Elicit 想更进一步，问这种表示应具备什么属性，才能回答 prediction、intervention 和 counterfactual questions。

在医学场景中，这可能是机制图：抗体与抗原如何结合、细胞内什么物质如何释放、某个 drug 或 chemotherapy 在不同时段会导致什么后果。在公司规划中，它可能是 spreadsheet、product tech tree 或用户指标模型。Andreas 不想规定单一结构，而是希望建立异构表示之间的信息传播，让 continual learning 发生在模型权重之外，并且能被人检查。

规划没有因为编码变便宜而消失

Nathan 提出一个现实问题：如果 AI 让软件工程成本下降，规划是否应少一些“围桌推演”，多一些“直接构建并接触现实”。Jungwon 同意探索成本下降，但提醒其他瓶颈没有消失，例如用户注意力、反馈质量、坏体验留下的印象，以及局部最优风险。

她把 build versus buy 原则说得很明确：公司应该内部构建自己的 core comparative advantage，其他都不该乱建。比如 pharma 里的某些 regulatory workflows 每家公司都必须按类似方式做，接口复杂但不是制药公司的核心能力；systematic review 就更适合购买。相反，某些早研 predictive models 可能值得 pharma 内部构建。

临床试验问题也不是“世界模型”与“trial abundance”二选一。罕见病中，trial 可能几乎就是 treatment option，监管和运营改善可以让更多 bet 成为可能；但对毒性和机制不确定的药物，仍应保持更高门槛。患者只有一个身体，不能像公司功能实验那样无限分流。

Elicit 的自我自动化：the line

Elicit 也在把自己当成 recursive self-improvement 的实验场。Andreas 说他们的年终目标不是公司完全无人运行，而是每个职能里都有相当自主的 workflows，能在假期继续推进工作。

软件工程自动化最成熟，系统叫 “the line”，像工厂线一样工作。一个 Slack 或客服反馈中的功能请求被加上 line emoji 后，系统会开始写 spec、迭代 spec、实现代码、录制测试视频、进行 code review、合并到 dev 和 prod。遇到 spec 不完整或功能过复杂时，它会判断需要人类介入。

目前简单 features 和 bug fixes 已能全自动流过这条线，每周自动 merge 约 30 到 50 个 issues。Andreas 认为，限制继续扩大规模的瓶颈是模型对“何时需要人类介入”的校准还不够可靠。80% 的自动评审正确率远远不够，因为那意味着 20% 可能破坏生产。

token 经济与模型编排

谈到 token 成本，Jungwon 说 Elicit 的客户往往是在替代 services spend，因此从总预算看还有空间；真正难点是是否能完全替代服务，以及客户对软件价格锚定的心理障碍。

Andreas 透露自己每周大约花 2,000 美元 token，可能在公司 top five。他用 API 运行比较复杂的个人系统：planning、calendar、journal、to-do、email auto-archive，以及让 ChatGPT、Claude、Gemini 互相 cross-check。对部分任务，交叉检查会把成本直接翻倍或三倍。

但他不认为所有任务都该切到最贵模型。未来更可能是一个 smart orchestrator agent 判断何时需要最高智能，再把简单任务派发给更小模型。Elicit 不提供 model picker 也是因为它内部会为筛选、提取、引用支持等不同子任务选择不同模型；Gemini 曾在 “claims directly supported by evidence” 上比 Claude Opus 高约 5 个百分点。

AI for science 与离散表示的价值

在 AI for science 的大图景里，Andreas 反对问“谁会赢”。科学横跨单细胞动力学、自动实验、蛋白模型、临床试验规划、公司多年技术路线，抽象层级完全不同。未来可能是现有 top pharma 转型，也可能是小 biotech 以高度整合形态替代它们。

Nathan 问，多模态科学模型是否会像图像模型一样，从 tool calling 转向权重级的深度整合。Andreas 承认连续表示可能在蛋白动力学等场景很强，但认为“所有东西都端到端进入 weight space”的预测过于粗糙。

他强调离散化有一个常被忽视的好处：error correction。人类语言和数字计算机都通过离散符号在每一步纠错，避免误差连续累积。如果模型完全在连续空间里“想”，可能丢掉这种可纠错、可组合、可检查的特性。

推理质量的未来仍未定型

最后回到 Elicit 的使命：AI 是否正在提高人类推理质量？Andreas 的回答是“so far so good”，但也像从屋顶跳下的人半空中说这句话。模型确实让他回答许多问题更好，但关键还在未来政府、大型 AI 项目和大组织将做出的决策。

他认为 AI 其实还几乎没有真正改变世界，coding 自动化只是知识工作的很小一块。对 epistemics 的影响可能向好，也可能向坏，因为模型天然被优化成“看起来好、很有说服力”。

乐观路径是把 truth seeking 明确作为优化目标，形成更好推理带来更好干预、更好预测、再带来更好推理的正反馈。Jungwon 最后提醒，知道模型何时让你决策更好、何时让你退回均值非常微妙；人类仍应保持 ownership mindset，而不是懒得被 AI 牵着走。

金句

我们告诉模型分析 100 篇论文，它最后承认自己没有做到；这就是过程失败。—— Andreas Stuhlmüller 9:12

我们要让第 5 个对象和第 9,999 个对象被同一个过程处理，这是其他模型无法保证的。—— Jungwon Byun 13:02

模型现在太容易被推动了，它不像专家那样有稳定的世界模型支撑概率判断。—— Andreas Stuhlmüller 27:40

检查每一步生成过程并不扩展，我们需要另一层逻辑一致性和敏感性检查。—— Jungwon Byun 33:50

world model 可以被看作一种不写进模型权重、而能被人检查和理解的 continual learning。—— Andreas Stuhlmüller 57:38

到年底我们希望人类去休假时，公司每个职能仍有自主 workflows 在推进。—— Andreas Stuhlmüller 72:58

提到的书·产品·人物

• Elicit（产品/公司）：AI 科研平台，本期嘉宾公司，目标是提高高风险决策中的推理质量。
• Andreas Stuhlmüller（人物）：Elicit 联合创始人，讨论 process supervision、world models、token spending 和自动化公司。
• Jungwon Byun（人物）：Elicit 联合创始人，解释产品架构、生命科学客户和证据质量评估。
• Ought（组织）：Elicit 前身相关非营利组织，早期聚焦推理质量和高风险决策。
• process supervision（方法）：按推理过程而非最终答案监督模型，是 Elicit 早期核心理念。
• DSL / domain specific language（技术）：Elicit 自建编程语言，用于把模型编排转成可执行、可检查的 reasoning primitives。
• reasoning microservices（技术）：主持人概括 Elicit 将推理步骤封装为可优化服务的架构。
• systematic literature review（流程）：Elicit 的核心工作流，包含搜索、筛选、抽取、综合和写作。
• life sciences companies（行业客户）：Elicit 已正式服务 top 20 life sciences 公司中的 7 家。
• RCT / case studies（研究方法）：用于讨论证据质量和不同医学场景下证据纳入标准。
• ICE / Interactive Composition Explorer（工具）：Elicit 早年语言模型 observability 工具，用于可视化和调试模型 trace。
• certificates of reasoning（概念）：Andreas 提出，应让输出包含可检查的推理证书，例如引用、敏感性分析和工具调用证据。
• world models（概念）：Elicit 正在探索的外部知识表示，用于预测、干预和反事实分析。
• Karpathy wiki / LLM wiki（概念）：把知识组织成可由模型持续更新的 markdown/wiki/repo 结构的思路。
• Claude / Claude Code（产品）：节目赞助和多处工作流示例中被提及，也用于 Jungwon 的 hiring decision synthesis。
• Gemini（产品）：Elicit 模型栈中曾用于特定任务，在 evidence support 指标上表现突出。
• the line（系统）：Elicit 内部自动软件工程工厂线，每周自动 merge 约 30 到 50 个 issue。
• MCP / API（技术）：Elicit 已有 API 和 MCP，供外部 agent 或用户脚本调用。
• Mercury（产品）：本期赞助商，主持人口播其 AI banking interface。
• METR study（研究）：结尾提到工程师以为 AI 提高生产率，但研究显示当时可能略低于无辅助表现。

适合谁听

适合关注 AI 科研、生命科学知识工作、agent 可靠性、模型评估、world models 和企业自动化的研究者、产品负责人及 AI 工程团队。