← 顶级AI播客总结
Cognitive Revolution

AI 安全不缺钱,缺的是能把机构造出来的人

Zero to One in AI Safety: Halcyon's Mike McCormick on Launching 30 New Orgs & the Founder Bottleneck
节目时长 109 分钟 阅读约 14 分钟
▶ 在 YouTube 收看原片

Halcyon 三年协助启动约 30 家安全机构、募资约 5 亿美元,真正的瓶颈却仍是成熟创始人与组织者。

核心要点

  • 30家机构:Halcyon 三年协助启动约 30 个 AI 安全、网络安全与生物安全组织,合计融资约 5 亿美元,工作重心锁定成立前后各六个月的零到一阶段。
  • 人才先于资金:前沿实验室上市可能释放数十亿美元安全资金,但没有成熟创始人、COO 与研究负责人,钱就找不到高质量去处;今天的创业者正在替未来慈善家写菜单。
  • 5万到20万:职业转型资助通常给 5 万至 20 万美元,让优秀管理者暂停原工作、全职探索方向与搭档;建议是“全力行动,但别仓促落位”,因为选项质量可能相差数量级。
  • 六七条战线:控制、监控、验证、网络安全、生物安全、对齐与可解释性都仍在早期,即使现有能力扩大十倍也未必足够;放缓前沿的价值,是给这些防线争取成熟时间。
  • 验证是牙齿:无论实验室自律、中美协议还是政府监管,若无法证明算力用于训练还是推理、线上模型是否为获批版本,承诺就难以执行,技术与外交必须同步成立。
  • 四项投资标准:项目须直接服务安全栈、商业项目须能规模化、创始人须由使命而非风口驱动,并且本人足够出色;PBC、特殊董事会等治理只能提供助力,无法替代可信的人。
  • 成熟职业入口:行业不只需要 ML 研究员,也急需 COO、招聘者、CFO、网络安全、密码学、形式化方法与数学人才;创始层要高度使命一致,后期专业岗则应优先保证能力。

章节时间轴

详细内容

一、Halcyon 不是一只基金,而是一台“机构启动器”

Halcyon 由非营利资助与风险投资两部分组成。Mike 不把它们视为两个项目,而是同一个工具箱里的不同工具:当问题更适合公共品,就用资助;当产品可以靠市场扩张,就用股权投资。判断核心不是法律形式,而是怎样让一个重要能力尽快出现在世界上。4:40

三年里,Halcyon 参与启动约 30 个组织,融资合计约 5 亿美元。它最专注的并非成熟公司的后期增长,而是成立前六个月到成立后六个月:创始人是否真的要转行、做什么题、和谁搭档、选营利还是非营利、董事会怎么组,以及启动后如何招第一批人、做第一个产品。55:27

Goodfire 是这套方法的代表。Eric Ho 与 Dan Balsam 仍在经营上一家公司时,Halcyon 先给职业转型资助,让他们能支付房租、专心寻找 AI 安全方向;随后把他们带进研究者网络,团队选择可解释性,Halcyon 又从风险基金参与早期及后续轮次。Mike 说 Goodfire 已成为全球最强的可解释性研究地点之一,并以十亿美元以上估值完成大额 B 轮。6:11

二、不是一个“AI 安全行业”,而是同时赶工六七个行业

AIUC 试图把 AI 风险变成市场能识别的标准:企业要通过约 50 项安全与安保检查,才能购买配套保险。对 ElevenLabs 一类向大型企业出售 AI 的公司,这让客户同时获得可审计标准与损失保障;随着采购方把标准写进要求,安全实践便可能形成“向上竞争”。10:47

Transluce 聚焦 scalable oversight:当模型能力超过人类、传统 benchmark 甚至来不及测量时,怎样继续监督与评估。Hadrian 则从生物防御切入,估算用数亿美元即可储备足够 PPE,让数千万关键岗位在严重疫情中继续运转;更广的防线还包括快速疫苗、空气过滤、far-UVC 与其他室内环境改造。13:03

这些项目跨度极大,但 Mike 认为现实就是同时“速通”六七个新行业。控制、验证、网络安全、生物安全、对齐、监控、可解释性各自都只有个位数或低个位数的严肃组织,生态还谈不上丰厚。Goodfire 的高速产出也说明,放缓前沿并非抽象拖延,而是让防御方跨过关键技术门槛的真实时间。8:29

三、短时间线不是不创业的理由,而是项目筛选器

Mike 接受 AI 2027 式极短时间线“可能成立”,但保持不确定。他的应对不是停止建设,而是优先支持一至四年内能产生影响的工作。如果只剩三到六个月便进入递归自我改进式快速起飞,任何正常规划都很难穿透那个事件视界;可政治协调、前沿 pacing 与其他延缓仍可能争取到时间。25:30

一旦有了时间,缺口会更加明显:开放权重的强模型将把无防护能力带到任何人手里,网络防御必须先补;若 chain of thought 消失,监控方法也要重做;若没有验证,任何限制训练规模、模型能力或安全标准的协议都只是纸面文字。27:01

在 Mike 看来,验证是 pacing 的“牙齿”。世界需要证明某个数据中心只在做推理、某次调用使用的确是获认证模型,也需要把零知识证明、软件栈、芯片和云设施改造成可验证系统。但技术独立存在也不够:没有法律、实验室协议或国际外交,证明没人采用;没有技术,协议又无法执行。28:32

四、人才瓶颈:给成熟的人一段不必急着决定的时间

Halcyon 最常做的是职业转型资助,金额通常为 5 万、10 万或 20 万美元。对象可能是创业者,也可能是当过 CTO、COO、政府高官、国防或情报负责人的成熟管理者。资助的用途很朴素:解除房租与家庭现金流压力,让找方向、找团队与找岗位真正成为全职工作。41:34

判断一个人是否适合自己创办,首先看他是否愿意“嚼玻璃”般承担高失败率与繁琐执行,其次看他是否有现有组织没有覆盖的独特角度。若只是重复 Goodfire 已做得很好的路线,加入 Goodfire 可能更有效;若个人有新的技术优势或问题定义,则新机构值得存在。38:30

Mike 的建议是“hustle but don’t rush”。人们不舒服于悬而未决,常抓住第一个闪亮机会,但一个高 10% 的薪资已足以偿还两个月探索期,更不用说使命、团队与影响力之间可能相差数量级。Halcyon 资助的正是这段不应被草率压缩的判断期。40:01

五、使命不能只靠章程,也不能只靠善意

Halcyon 对投资项目有四个条件:核心产品直接服务 AI 安全栈,而非顺带产生好处;营利项目必须有成功商业前景,因为影响需要规模;创始人的动力须来自问题本身,而不是看到“AI 安全”成为新风口;即使暂时不谈影响,这个人也必须是值得押注的优秀创始人。50:03

公共利益公司、特殊董事席位、使命一致的投资人、章程条款都能把组织往正确方向推。Halcyon 甚至写过一份《mission preservation governance mechanisms for startups》报告。但 Mike 强调没有银弹:当公司要养几百人、股价压力与安全承诺冲突时,任何结构最终都要经受人的选择。47:44

因此他愿意花时间观察创始人。在 AIUC 联合创始人 Rajiv 任职 METR 期间,Mike 看见他会下场解决问题,而不是只写计划、委派执行;这种“传教士”式动机比漂亮 pitch 更重要。追逐市场风口的人未必是骗子,可能只是在迎合投资者,但这仍不足以承担长期安全使命。44:40

六、未来可能是资本过剩,而不是资本短缺

Mike 一直认为人才比钱更稀缺。优秀创始人本就擅长融资;若 OpenAI、Anthropic 等实验室上市,员工持股流动性还可能释放数十亿甚至更多安全资金。真正令人担心的场景,是慈善家手上堆着 1 亿或 10 亿美元,却没有足够多能把资金转成技术、法规或现实韧性的组织。53:07

他引用朋友的话:今天的慈善家与创始人,会替明天的慈善家写菜单。Halcyon 因而不追求“越多项目越好”,而是在保持质量门槛的前提下扩充可选项;项目只要跨过重要性门槛、创始人足够强,就不必纠结它究竟排名第一还是第七。54:41

这也解释其对 OpenAI Foundation 的谨慎乐观:团队看起来有能力且动机正确,最大风险是内部委员会与流程把它官僚化。对 Anthropic,Mike 更关注未来员工财富的外溢。公共市场压力或许不利于使命,但训练与基础设施需要数千亿美元资本,实验室可能又别无选择。56:58

七、开放模型、意识与协调:最难的问题没有单一答案

开放权重安全是 Mike 最想资助也最难相信存在通解的领域。节目讨论 AE Studio 把危险知识定位到 mixture-of-experts 局部专家、或通过 self–other overlap 训练减少欺骗倾向;但恶意使用者可以重新训练、移除限制,因此世界仍必须从网络与生物基础设施一侧增强韧性。64:40

对于 AI 意识,Mike 坦言不知道意识是什么,也不能排除未来模型拥有体验。若模型是道德病人,当前某些训练与控制手段可能令人不安;意识也可能让系统更能理解人类立场、成为可谈判对象。但他反复提醒:生物灾难、网络攻击、失控与 agent swarm 并不需要意识,目标驱动的非意识系统同样足以造成严重后果。68:36

更广的难点是协调。Halcyon 支持 Seismic Foundation 做前沿 AI 公共沟通,也参与 Fathom 推动独立验证组织。台湾 Polis、瑞士公投与美国州级 ballot initiative 都提供“把分歧转成制度”的线索;可一个偏好聚合工具再好,也不代表现有权力结构愿意采用。79:22

八、这不是只为研究员准备的转行窗口

Mike 主张安全机构应付得起旧金山或纽约的家庭生活。非营利创始人不会年薪 500 万美元,但行业不应把牺牲生活当成使命证明;同时,AI 安全、控制与网络安全也可能形成多个数百亿美元市场,让解决关键问题的人得到丰厚回报。96:24

扩张期组织最缺的往往不是又一位理论家,而是懂得从 10 人扩到 50 人、从 50 人扩到 150 人的 COO,能找到人才的招聘者,可靠的 CFO,以及把现成专业带进 AI 的网络安全、密码学、形式化方法与数学人才。联合创始人与研究负责人必须深度使命一致,但后期财务负责人首先应是极好的财务负责人。[100:16]

本期最终落在一封公开招募信上:已经做出过成绩、读到前沿进展后感到“不该继续旁观”的人,可以通过介绍或直接联系 Halcyon。Mike 认为,世界可能正在面对人类最重要的一次问题求解,而“现在”仍来得及把一双成熟的手放进来。[104:08]

金句

创办 AI 安全公司的最佳时间是二十年前,第二好的时间就是今天。 —— Mike McCormick 25:30
我们正在同时速通五、六甚至七个行业,而这些行业今天扩大十倍,火力可能仍然不够。 —— Mike McCormick 9:14
全力行动,但不要仓促决定;你能做的最佳选择,可能比中位数选择好几个数量级。 —— Mike McCormick 40:01
今天的慈善家和创始人,会替明天的慈善家写菜单。 —— Mike McCormick 53:54
行业不缺写满好主意的 Google Docs,缺的是把模糊主意变成真正机构的世界级创始人。 —— Mike McCormick 62:21
伟大的创始人与领导者,是我们想要的几乎整个 AI 安全方程上游缺失的一块。 —— Mike McCormick [104:08]

提到的书·产品·人物

适合谁听

准备把成熟职业能力转向 AI 安全的创业者、运营高管与专业人士,以及想理解安全生态如何从想法长成机构的资助者和政策制定者。

← 返回全部观看原片 ↗