← 顶级AI播客总结
No Priors

Greg Brockman:AI已能产出新知识,安全支出该远超软件支出

The Changing Physics of Cybersecurity and Drug Development with OpenAI President Greg Brockman
节目时长 39 分钟 阅读约 12 分钟
▶ 在 YouTube 收看原片
Greg Brockman:AI已能产出新知识,安全支出该远超软件支出 插画

OpenAI总裁谈数学突破、药物研发瓶颈、Dots主动代理与网络安全「防御者窗口」。

核心要点

  • 新知识已成现实:Greg 称 AI 能否产生新知识「现在不可否认」,OpenAI 公布了近 400 个已解决的重要开放问题,其中有百年历史的数学难题,但还没到提出全新理论的程度。
  • 数据决定边界:他认为深度学习的底层物理是算力、数据、算法等于能力。数学与理论物理数据充足,生物数据稀缺,是药物研发能否复制数学成功的关键未知数。
  • 药物研发看全链路:他认为除了分子设计,监管申报等环节也是大瓶颈,一份临床试验申报材料要写约一年,AI 可大幅压缩;缺数据之处则需要湿实验与模拟创新。
  • Dots 主动代理:Dots 常驻运行,你停它不停,会整理你漏做的事、发现日程冲突,并跨邮件与 Slack 理解上下文。Greg 称它只是形态变化,模型是同级别的。
  • 防御者窗口:前沿网络能力目前主要掌握在能帮助防御方的一侧,但广泛可得的攻击能力在逐代上升。OpenAI 通过 Daybreak 计划向防御者开放,并承诺十亿美元支持一线防御。
  • 内部安全冲刺:OpenAI 曾让约 25% 的生产工程师暂停手头项目专做安全,让最强模型红队测试全部基础设施,修到模型找不出新问题为止,新模型发布后再重复。
  • 安全支出应超软件:软件成本趋近于零,可靠、安全的软件才有价值,所以 Greg 认为安全支出应远超软件支出,并强调这是直觉判断,自己可能不对。
  • 人必须坐驾驶位:他用乔布斯给 iMac 加提手的故事说明,人类应保有控制权,未来更像 CEO 或董事会成员,技术的目标是提升人类生活。
Greg Brockman:AI已能产出新知识,安全支出该远超软件支出 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

数学突破与「新知识」之问

Greg 说本周的数学成果是一个里程碑。过去千年人类生活质量提升的根本动力是科学技术,而现在 AI 有能力大幅加速科学发现。「AI 能否产生新知识」这个问题,他认为现在已经「不可否认」地得到肯定答案,不过还没到提出全新理论的程度,目前是解决了拥有百年历史的难题。

他特别强调重点不在机器给出答案,而在配备工具的人能做到什么。他举例说,数学问题可以解,同样的能力放到生物学,或者放到小企业主身上,针对各自领域调好的智能会让过去难以想象的结果变得触手可及。

主持人提出,几乎没有人能审核高等定理,沟通如何解决。Greg 回忆自己原本想成为数学家,受高斯、伽罗瓦启发。他认为数学之美在人眼中,既有接近物理规律的部分,也有重要的人文部分。他提到 OpenAI 公布了近 400 个重要开放问题的解决方案,数学界正在从中寻找洞见,领域专家反馈其中有出人意料的方法运用,而不是不可理解的证明。

他拿四色定理对比:那是机器检查一堆情形,没有美感可言。他认为现在进入了不同的机器发现阶段。主持人补充说,随着模型心智理论变强,它们也能带人一路理解新知识,她自己就用 Math Academy 和 ChatGPT 学数学。

可理解性、辩论与对齐

Greg 认为这是被低估的收益:帮助人们知道更多、相互理解、理解世界。他把它与 AI 安全联系起来,提到自 2017 年起讨论的「辩论」和「迭代放大」两种技术。

他的例子是书籍摘要:不读整本书很难判断摘要好坏,但如果另一个 AI 负责挑错,指出一个被摘要遗漏的重要情节,人就不必读完全书也能判断。这说明训练方式可以与人类监督对齐,让人坐在驾驶位,这是 OpenAI 的根本价值。

从数学到生物:数据是关键

被问到下一步会看到什么,Greg 说关键是理解 AI 为什么在某个维度变强,再期待同类性质的领域有类似结果。数学并非天然可检查,自然语言证明很难验证,但他认为核心洞见在于数据:数学和理论物理能得到大量数据。

他把深度学习的基本物理概括为算力、数据、算法等于能力和结果。迁移到生物学,问题是有没有数据、能否获得数据。有些方面会很快被加速,但会有别的瓶颈,且有些瓶颈与深层生物理论无关,比如临床试验的监管申报要写约一年,AI 可以轻松很多。数据确实不存在之处,则需要湿实验和模拟方面的创新。

Elad 补充:开发一款药物约 15 年、15 亿美元,其中前期约 5000 万美元,其余 14 亿以上花在临床试验,早期模型多聚焦分子结合,而下游问题同样重要。Greg 表示药物研发是最清晰、最值得彻底变革的方向,并认为人类在生物学上其实很不擅长,因为生物对人类是陌生的语言,而对神经网络,从第一性原理看没有理由认为自然语言比生物更容易。他还提到,有些人的药其实已存在于某篇文献里,只是没被找到,这类工作可以大规模放大。

监管与临床试验的未来

Elad 指出,若技术奏效,瓶颈会变成说服监管者改变试验要求。Greg 认为如果能证明药物研发的物理已变,就应传导到系统每个环节。他用自动驾驶类比:若自动驾驶比人类安全 10 倍或 100 倍,就应重新思考整个交通系统,甚至规定某些区域只允许自动驾驶。

他还指出各国监管不同,澳大利亚与美国的临床试验规定不同,已有人把试验搬到监管环境更合理的地方。具体怎么改,取决于能证明什么,比如神经网络预测是否比跑临床试验更准,现在还没到,但可以想象。他也承认,长期结果的预测很难没有至少一个长时间验证,但相信可能的 80% 会很快实现。

Dots 与产品形态

Greg 称 Dots 已改变 OpenAI 许多人的工作方式。它是主动型代理,一直在线,你停下它还在工作。他的 Dots 会盯着他本该完成的事,比如该发的消息和说过要做的事,每天早上给他一份待办清单。它还会注意到他没要求的事,比如日程冲突、需要提前离开会议。它了解他的邮箱、Slack 和近期提问,因此知道什么最重要。

他说 Dots 在某种意义上只是形态变化,模型本身与 Astra 同级别。他只有一个 Dots,图标是一只猫头鹰,可以让它更换。

关于消费级与职场助理是否分化,Greg 认为会收敛。主要差别是成本:大众产品要以免费或极低成本扩展,ChatGPT 为免费用户提供记忆功能就是巨大的工程投入;职场场景下只要付更多钱能换来回报,就值得投更多算力。OpenAI 的优势在于同时拥有 12 亿 ChatGPT 消费用户和领先的编程与企业业务,因此战略是统一而不是两线作战。他还看到有人因为有了可靠的 AI 而辞职创业,认为会出现创业者的文艺复兴。

UI 与生成式界面

Elad 提到消费与企业的界面差别。Greg 的立场是「最好的 UI 是没有 UI」,可以通过语音、Slack、iMessage 与 AI 交互,Dots 今天就能这样用。职场不同之处在于有管理员、安全团队和更多利益相关方,新功能上线时企业要有控制权,因此需要管理员开关,而这又带来如何提示用户「有功能被隐藏」的挑战,他认为这种复杂性不会凭空消失。

他说,ChatGPT 从文本框开始,而现在连文本框都没有,这才是人们期待的 AI。GPT-6 让 AI 可以先给出快速回答,继续深入思考后再给更完整的答案。同时引入了智能 UI:AI 可以即时生成界面,比如订机票时需要复杂界面,组装自行车时需要一个临时定制应用,这是没人会雇人写的一次性应用,但 AI 可以在需要的那一刻做出来。

网络安全:防御者窗口

Greg 认为网络安全的「物理」正在改变,现在处在「防御者窗口」:最强的前沿 AI 能力可以帮防御方保护自己,而被广泛获得的攻击能力随每次模型发布而上升。他提到韩国已有银行被模型驱动的攻击入侵。OpenAI 通过 Daybreak 计划负责任地向防御者开放,让他们用顶级模型发现并修复漏洞,并承诺十亿美元支持一线防御者。

他强调这些缺陷一直存在,每一行人写的代码都存在是否安全的问题,从来没有一个 CISO 资源充足。Elad 提到 XKCD 漫画和 Heartbleed。Greg 说互联网为韧性而建,安全是后加的,现在技术债会浮出水面,是还债的时候。AI 能还清以前不可想象的技术债,还能做形式化验证,证明软件的安全属性,这项技术早就有,只是工作量太大没人做。

在 OpenAI 内部,他们让约 25% 的生产工程师暂停所有项目专做安全,让当时最强的模型对全部基础设施做红队测试,并构建了可重复的工具,修复发现的问题直到模型能找到的问题饱和。每次新模型出来都要重复。同时他们在训练模型从一开始就写安全代码。

Elad 认为会有一个过渡期,攻击和事件增多,之后防御追上。Greg 乐观,但表示需要协调应对,这个窗口不会永远存在,组织的安全将取决于基础是否做对,以及用了多强的网络能力来自卫,同时要考虑关键基础设施和缺乏资源者。

安全支出与供应链

Elad 指出,传统上安全只占 IT 预算低个位数百分比,问现在应该是多少。Greg 说他觉得安全支出应该远超软件支出,而且他真的相信,虽然不一定对。理由是软件会成为近乎免费的进入门槛,真正的价值在于可靠、安全、可信的软件。

他说开源维护者的那个漫画从来就不合理,是因为写可靠软件太难。供应链几乎没人审计,恶意包上传后许多公司中招,而人类开发者里懂这些的专家太少。Elad 提到 Socket 等公司扫描开源供应链。Greg 表示 OpenAI 与 CrowdStrike 等公司合作,并认为领导这件事是 OpenAI 的核心优先级,因为他们有前沿模型,同时公司也在经历自身的安全转型。

人类能动性

最后 Elad 问 OpenAI 的亲人类精神是否延续。Greg 说这是使命核心,即确保 AGI 造福全人类,人类应牢牢坐在驾驶位,掌控未来,技术应放大人的能动性,即便模型在能力上超越人类。他提醒模型是「参差不齐」的,有些方面已超过任何人。

他讲了乔布斯在 iMac 上加提手的故事:让人觉得可以随时拎起来扔出窗外,AI 也该有同样精神。未来人类在某些领域可能更像 CEO 或董事会成员,由领域专家团队执行,但关键问题是你是否满意、这是否让生活更好。技术是提升人类文明、改善生活质量的最根本动力,这是 OpenAI 的信念。

金句

人们还没有真正意识到,网络安全的物理规律将发生多大变化。 —— Greg Brockman 29:50
软件在某种意义上正在成为进入门槛,它变得如此便宜,所以安全支出应该远超软件支出。 —— Greg Brockman 34:29
最好的 UI 是没有 UI。 —— Greg Brockman 23:44
从第一性原理看,神经网络没有理由在自然语言上就比在生物学上更强,所以应该能破解生物的语言。 —— Greg Brockman 13:49
你要的不只是软件,而是可靠、安全、你能信任的软件。 —— Greg Brockman 34:29
人类应该牢牢坐在驾驶位,这项技术应该放大人的能动性。 —— Greg Brockman 36:46

提到的书·产品·人物

适合谁听

关心 AI 在科学发现、药物研发和网络安全上真实进展,以及想了解 OpenAI 产品方向的读者。

← 返回全部观看原片 ↗