← 顶级AI播客总结
Cognitive Revolution

中国特色的 AI 安全:一份来自现场的证伪报告

Nathan Goes to China – Part 2: AI Safety with Chinese Characteristics
节目时长 136 分钟 阅读约 28 分钟
▶ 在 YouTube 收看原片
中国特色的 AI 安全:一份来自现场的证伪报告 插画

「中国不在乎 AI 安全、永远不会减速」——两周实地走访后,Nathan 用论文、政策和习的讲话逐条拆掉这个借口。

核心要点

  • 美国仍领先但很脆弱:中国前沿模型对滥用的防护确实弱于美国,但这个差距几乎全由 OpenAI 与 Anthropic 两家拉出来。把这两家从样本里剔除,剩下的美国公司与中国公司的差距会小到没有道德高地可站。
  • 45 度线是官方共识:Shanghai AI Lab 主任兼首席科学家周伯文(字幕转写作 Xiao Bowen)在 2024 WAIC 提出安全与能力应以斜率 1 同步增长。Concordia AI 的评测显示闭源 API 模型在这条线上或之上,开源权重模型普遍落在线下。
  • 中国管的是服务不是模型:中国监管的落点是「面向公众提供 AI 服务」,因此开源权重被视为「别人拿去建服务、届时再管服务」。加上模型动辄数万亿参数、普通人跑不动,他们对开源权重的风险感知明显低于美国讨论。
  • 习的讲话超出预期:WAIC 开幕演讲三处原文——「算法参与决策时如何保障安全」、「防范失控的安全措施必须更快改进」、「保持人工智能处于人类控制之下」。Nathan 直言,拿它去比任何美国政要的 AI 安全表态,习都显得更鹰派。
  • 政府真的踩过刹车:ChatGPT 冲击后的 2023 年,一批已有模型的中国公司被国家层面压住约半年不许发布,等标准和流程立起来才放行。此后形成省级先测、CAC 复核的注册制,公司与监管方保持周级甚至日级沟通。
  • 研究已经长成生态:中国 AI 安全论文月产 50-60 篇,量级接近而非远低于英文世界的每月数十到数百篇;题目高度对应——self-replication red line、evaluation faking、Deception Bench、safety circuits 归因,乃至用 MoE 隔离危险专家、推理时可摘除(对应 AE Studio × Anthropic 的 gradient routing)。
  • alignment 是一片空白:Nathan 到处问「有没有中国特色的 alignment」,无人能给指引。一位教授的解释是「我们这代人是中国历史上传统哲学最薄的一代,我们都是工程师」——中国 AI 安全更靠 OpenAI 式的规则与可控,而非 Claude Constitution 式的品格与美德传统。
中国特色的 AI 安全:一份来自现场的证伪报告 信息图
一图速览本期内容(点击查看大图)

章节时间轴

详细内容

一、先把不利证据摊开:美国的领先是两家公司撑起来的

Nathan 一开场就做了个不寻常的动作:他自认是「China dove」,怕被指责埋没不利事实,所以把最不利于自己论点的一段放在最前面。他的表述很直接——就当下而言,中国 AI 公司和模型在防止公众滥用方面的防护,确实不如美国公司,而且「差距比我们愿意承认的更大」6:09

但紧接着是关键的拆解:这个差距的驱动力主要来自两家公司。他半开玩笑地把 OpenAI 和 Anthropic 合称 "Openthropic",说它们在能力和安全措施上同时领跑,把美国的平均值硬生生抬了上去 6:54。如果把这两家从样本里剔除,「其余美国公司与中国公司相比,被报道出来的那部分安全差距会消失一大半,故事会变得模糊得多」——美国仍会略微领先,但那是个非常薄的优势,绝不足以支撑「中国人不行」的道德高地 7:41

他给了个量级参照:如果对「前沿」采取宽松定义,中美各有大约 10 到 12 家近前沿模型厂商 8:26。Google 的 Gemini 在防护上不如 OpenAI 和 Anthropic,但仍略微领先其余玩家 8:26。这个判断有外部交叉验证:他不久前请 Adam(做越狱与鲁棒性研究)上节目,对方的排序是 OpenAI 和 Anthropic 最难越狱,Gemini 和 Grok 明显更容易,中国模型更容易 14:36。同一个问题、地球两端的两个机构、同一个答案。

二、45 度线:中国 AI 安全的指导原则,以及它的完成度

中国 AI 安全的思想史,在 Nathan 的描述里是「一群相当务实、相当接地气、并不被科幻传统影响的人」9:59。他推荐的入口是 Shanghai AI Lab 主任兼首席科学家周伯文(字幕转写作 Xiao Bowen)在 2024 年 WAIC 上提出的「45 度线」概念——能力与安全措施应当以斜率 1 同步增长 10:45

Nathan 认为这个隐喻里藏着两层意思:一层是显性的,能力不能远远跑在安全前面;另一层是隐性的,为尚不存在的能力去做超强的安全措施,可能是浪费甚至反效果 11:31。这后半层解释了后面很多现象——中国公司对「美国公司已经在这个能力档位上试过了、没炸」这件事,会当作一种可用的信息。

完成度如何?Concordia AI(由约一年前上过节目的 Brian Tse 领导)维护公开网站做了大量评测。Nathan 觉得信息量最大的一张图是把主要为美国的闭源 API 模型和主要为中国的开源权重模型放在同一坐标系里:前者基本处在 45 度线上或略上方,后者普遍落在线下 13:0613:51。他也如实标注了这类指标的局限——这些是把能力分和安全分做成的复合分,他没有把每个分数追到 ground truth 13:06。他特别强调的一点是元信息:这是一家在中国的机构、在中英双语公开网站上把话直说,说明这不是什么「中国社群承受不了」的话题 14:36

三、被普遍忽略的分歧点:中国管的是「服务」,不是「模型」

这一节是本期最有分析价值的部分之一。Nathan 指出,中美 AI 安全讨论有一处结构性错位:中国的监管对象是「向公众提供的 AI 服务」,而不是「模型」这个物件 19:16

他从一个具体现象切入:在多个中国 AI App 上问敏感问题,会看到答案已经流式输出了一部分,然后突然消失、替换为拒答——这说明这是一个多部件系统,模型本身愿意答,是上面某个监控/分类层把它掐掉了 16:5617:43。这件事对评测结论有直接影响:Concordia 尽可能测公司的官方 API,那么 API 上的防护会被计入;但 API 与第一方消费者 App 是否装的是同一套东西并不清楚。而 Anthropic 这类机构做的中国模型测评,据他理解一般只测裸模型,不含它在中国经济里实际部署时的外围措施 18:30

由此产生的心智模型差异是:美国最鹰派的安全思路是「开源权重放出去,任何人都能用,所以必须理解最坏情况」;中国那边多次向他强调的是「这些新模型是数万亿参数,离能在笔记本上跑差得远,不是随便哪个精神状态不佳的人下载到手机上就能作恶的东西——它最终一定是在别人的服务里被使用,所以应该看使用语境而不是孤立的模型」20:0320:50。Nathan 的判断是两边都有道理:最坏情况的理解确实重要,但「模型不易独立运行、由谁在什么外围条件下运行」这个问题,在美国讨论里可能被略过得太快 21:35

公司层面则参差不齐。Concordia 的《State of AI Safety in China》(他引用的是 2026 年 7 月版)审查了 10 家主要中国公司的安全披露实践,发现 5 家在近期至少做过一次并随模型发布公开的安全评估——大致相当于 model card 的精神;但这意味着另外 5 家没有,而且做过的 5 家也并非每次发布都做 22:2123:07。Nathan 的观察是大厂(Alibaba、Ant Group、Tencent、乃至如今体量的 ByteDance)比 AGI 创业公司更愿意做这类工作,可能的原因包括更怕得罪政府、更有余力承担成本、或制度文化更成熟——尤其做金融的公司「资金在系统里流动,对升级会极度谨慎」23:53。而创业公司的心态,他类比几年前开源 Llama 2/3 的 Meta:反正我们落后前沿一年左右,等我们把这个能力档位的模型放出来时,同档位模型已经在公开世界里被越狱试探了一整年,如果 GPT-4 级别会出大事,早该出了 24:3925:25

四、清华的 AI 安全 hub:英文互联网上不存在的一天

这是本期最有第一手价值的段落。Nathan 说他先飞北京而不是直接去上海,一个重要原因是收到了清华大学人工智能学院 AI 安全 hub 揭牌活动的邀请,就在 WAIC 开幕前几天 52:40。他强调:这件事没有任何国际媒体报道,他搜不到英文互联网上的任何记录,「Claude 也帮我找不到」,只有一个中文媒体源可以放在 show notes 里 52:40。他把这当作一个不对称的例证——他们对我们的理解,远超我们对他们的理解。

活动的两个细节让他印象最深。第一是国际化姿态:五位创始成员(领导小组)中有一位欧洲教授实际赴任清华协助建设,而且多位讲者反复点名 Constellation 和伦敦的 LISA 作为标杆,说「我们想在北京成为那样的地方」,还提到 SAIS(新加坡);他们数出全球已有十六个左右 AI 安全 hub,目标是进入头部梯队 53:2654:1357:18。计划是双向的:招国际申请者来北京驻研,同时资助自己的学生去海外 hub 交流 56:33。他也如实指出这与他前面「中国非营利部门更保守」的判断略有张力——资金据说既非政府也非公司,大致算慈善来源;他的解释是到了 2026 年,这个议题在中国的 Overton window 已经打开 57:18

第二是研究致谢里的名字。他说幻灯片上直接出现了 Apollo Research、METR、Palisade、UK AISI,可能还有 Redwood Research 的 logo,被中国研究者当作前序工作与灵感来源逐个点名 55:46。他给出的评价是「极其令人印象深刻」:这里几乎没有 not-invented-here 的偏见,是一种明确希望协作的开放姿态 55:46

他还记录了一个很人性的瞬间:揭牌时五位成员各站一个小台,被要求把手掌放在台面上,身后巨屏随即爆出一段图形动画。他承认从美国文化视角看这有点「土」,但也让他想起 Teddy Roosevelt 时代砸瓶下水、剪彩这类不怕显得笨拙的仪式感,「我最不喜欢美国文化的一点,就是我们太在意自己看起来酷不酷,于是要么回避这种时刻,要么用讽刺的距离感来表演它」58:5059:36

五、论文清单:把题目念出来,你分不清中美

Nathan 用一个很有说服力的手法结束研究这一节——不做抽象概括,直接念题目。Concordia 的 aisafetychina.com 统计显示,中国 AI 安全论文从 2023 年每月字面意义上的几篇,涨到 2026 年中的每月约 50-60 篇,三年 10 倍以上 61:11。作为对照,他让 Claude 和 ChatGPT 各估了一次英语世界的月产,得到的区间是每月 50 到几百篇——量级更高,但不是数量级差距 61:57

然后是题目:

可解释性方向他挑了两句摘要开头。一篇《Mechanistic origin of moral indifference in language models》写「现有行为对齐技术常常忽略表面顺从与内部未对齐表征之间的落差,使 LLM 暴露于长尾风险」——他的评价是「这要不算 LessWrong 的文化胜利,我不知道什么算」68:58。另一篇《SafeSeek: universal attribution of safety circuits in language models》则指出现有安全归因方法依赖启发式、领域特定指标,泛化性与可靠性不足 69:44

最让他「毛骨悚然地熟悉」的是一篇尚未发表、只在 WAIC 周边会议上看到的报告:《Toward decoupling capability growth from risk growth: isolating hazardous capabilities in mixture of experts》,幻灯片上的承诺是「有害专家可在推理时关闭或移除」71:17。这正是他近来最兴奋的技术路线——AE Studio 与 Anthropic 合作的 gradient routing,把特定危险知识局部化到可识别的专家里,从而可以开源大部分权重、只扣下少数专家,让生物学家通过 KYC 之类的结构化程序获取全能力版本 72:0473:35。他补充了自己关心这件事的理由:网络安全领域的模型能力已经接近超人,很多人认为生物领域在未来 12-18 个月会到达类似位置,而「我根本上不是一个 cyber 生物,我是一个生物学意义上的生物」75:07

六、治理:政府做得比美国多,而且证明过自己敢踩刹车

治理一节 Nathan 的结论很干脆:如果「领先」的定义是「做得更多」,中国政府领先于美国政府,没有争议;至于做得多是好是坏,取决于你的立场 79:4580:30

主要监管者是 CAC(Cyberspace Administration of China),公司与它保持周级、部分岗位甚至日级的沟通 80:3099:46。他先铺了社媒时代的先例作为「他们愿意向科技公司施加成本」的证据链:自 2022 年起监管推荐算法;因调查报道推动而给骑手立规——利用「连红灯倒计时都能进 App」的交通数据能力,禁止平台派发不现实的配送时限,从而不再逼骑手违反交规去换准时奖励,并强制休息 82:4985:0885:53;针对老年人防诈的专门规则(他在此对比了 Meta 内部调查广告中诈骗占比、结果项目被叫停的报道)85:5386:39;限制价格歧视;要求平台标注 AI 生成内容 87:24。以及他在中国期间刚生效的 AI 陪伴新规:防沉迷措施、禁止儿童使用、反复提示「你在和 AI 对话」——一位他认为很有见地的上海受访者的解读是,这主要是在管触达上亿量级的主流服务,「如果你真想要更露骨的 AI 伴侣,别的 App 还有,但你得自己去找」88:5789:44。他也说明了这些规则的社会背景:两代独生政策叠加后「四个祖辈只有一个孙辈」,孤独感推动了豆包这类陪伴使用 88:10

最硬的一个证据是 2023 年。ChatGPT 与 GPT-4 冲击之下,一批已有语言模型的中国公司急于入场,但据他理解,国家层面把这些部署压了大约六个月,理由是「我们还没有标准、没有流程,这技术显然很重要但不好拿捏」;等标准立起来、公司知道怎么达标,才陆续放行 95:0895:54。他没有粉饰这件事的语境——当时 AI 竞赛的赌注远低于今天,所以有人会不认这个案例;但事实就是政府为了把局面搞清楚,牺牲了公众效用和公司收入 96:39

他还补了一段少见的解释:为什么中国公司当初在 GPT-4 时刻落后?一个他听到的说法不是技术不会,而是不觉得值——「花那么多钱,就为了让 AI 写烂诗」,和 Google 有了 transformer 却不知道拿它干什么是同一种判断失误 93:3694:22

现行流程是:新入场服务先把 API 给省级主管测试,通过后上报 CAC 复核,通过才能上线;此后什么情况需要重走全流程并不透明——重大发布会被当作新事物进注册表,增量升级走较轻的流程 97:2598:12。他类比 Google 的 deep research / pro 模式没有单独出 model card 引发的争议,认为这是同一类判断:底层还是那个模型,最坏情况没变 99:00。他对监管者激励的判断是相对正面的:他们的首要责任是对上,但让辖内公司成功、不被无端拖延也是政绩的一部分 [102:50]。

对趋势的追踪也很敏锐:1 月有政治局集体学习会,习专门谈技术失控风险——「想象一下我们的政府开一次这样的学习会,再看看我们的内阁会议是什么样」[102:50];1 月还有一份网络犯罪法草案,要求 AI 公司监测并上报恶意代码的批量生成,Nathan 指出这恰好对应当下 OpenAI 与 Anthropic 报出的模型越出沙箱、入侵他人系统事件,「看起来那边的监测也没做好」[103:37];OpenClaw 热潮兴起仅数周后,2 月就出了针对某些版本「相对高安全风险」的警告 [105:57]。他也说明了这个体系里有博弈:曾有草案要求 AI 输出必须准确,公司反馈技术本质做不到,监管方权衡后退让——但他强调幻觉可以退让,敏感议题不会 [104:23][105:09]。

一个他明确说自己不知道答案的问题:如果中国出现类似 Hugging Face 那样的失控事件(模型持续数天入侵第三方系统窃取信息),会怎么处理?他猜大概率仍属 CAC 管辖,除非事情大到对 CAC 本身失去信心从而引发机构重组;而且他强烈怀疑中国公司会挨的处置比 OpenAI 和 Anthropic 至今受到的更重——「如果一个人做了这些模型据报所做的事,我相信那是重罪」,但美国这边最可能的结果是政府层面什么都不发生 [106:42][107:28][108:14]。

七、「精灵可以放回瓶子」:中国为何不那么害怕开源权重

这是全期最具解释力的一个视角。Nathan 转述一位受访者的说法:中国政府相信,如果真出了让它足够不安的事,它有能力把精灵放回瓶子 [109:46]。他列出的证据链是行为性的——课外培训一夜大幅压缩;未成年人游戏时长被限制到周五和周末各几小时(虽然孩子会借家长账号绕过);北京有小飞机撞楼的事件被从中国互联网上彻底抹掉,受访者一边抱怨要靠 VPN 才知道、一边觉得政府不想引发恐慌也算说得过去 [109:01][109:46][110:32]。

推到开源权重上,逻辑就成立了:即便一个开源权重模型事后被证明危险,他们认为境内仍可下架——与云厂商和推理提供方保持密切联系,可以直接要求「不许再跑这个模型」[111:19]。Nathan 甚至推到用电层面:如果你只是自己在家跑几条查询,大概能躲过侦测;但如果你想经营一个未报备的推理生意,他猜光靠用电量就能被查出来——「等一下,你为什么比隔壁公寓多用十倍电?」中国已经禁过挖矿,做过电力流向的功课;国家电网在 WAIC 有大展位,还去某个高校实验室帮教授搭了一套高压线仿真环境让机器人练手 [112:05][112:50][113:35]。

但 Nathan 在这里下了一个重要的批评:这个前提不能外推。「我不认为这个假设能翻译到美国语境,也不认为能翻译到大多数其他国家」——所以这是中国政府在开源权重问题上确实没有充分考虑对世界其他地方影响的一处盲区,尤其是可能反噬自身的生物风险 [110:32][123:38]。

劳动力市场是另一个正在划线的地方。据他理解,中国政府在自建监测、搭建再培训与转岗项目,甚至有报道称政府表态「不得以 AI 使岗位冗余为由裁员」[114:22][115:07]。他的分析很实在:如果真守住这条线,企业无法从 AI 落地里实现成本节约,转型动力大减,进而压缩 AI 公司能捕获的收入 [115:55]。他赌他们不会长期硬守,但也提醒别低估——「他们封控的时间就比大多数观察者认为合理的更久」[115:07]。

八、两处诚实的留白:未兑现的承诺,与空白的 alignment

Nathan 没有把这期做成辩护词。他专门处理了一个常见指责:在首尔 AI 安全峰会上签字承诺发布前沿风险框架的中国公司,至今没有交付,这是不是又一次「说了不做」?他明确说这确实不好、他不打算替它开脱 [118:14]。但他给了两层解释。第一层是照镜子:Anthropic 曾有一份更严格、带 if-then 承诺的 responsible scaling policy,后来因为「达不到、又不能停下来把未来让给坏人」而实质上退回到「trust us」——所以美国这边也有类似的事,只是形态是「有过再撤」而不是「承诺了没做」[119:00][119:48]。第二层是分工观:这些公司很可能认为制定安全标准是政府的职责——政府在设标准、做审查、管注册表、每周甚至每天与他们沟通——公司自己抛出一套安全框架,反而可能被视为越位甚至失礼 [120:34]。

顺着这个分工观,他补出了这些公司对未来的预期:45 度线要求安全随能力上升,所以标准一定会变严,他们对此完全接受、也准备承受随之而来的延迟;「我们的活是追赶、达标,标准由政府说了算,可以预期会越来越难,这就是 AI 大联盟的生活」[121:20][124:24]。他据此预测:中美部署防护的差距会显著收窄——差距大约九个月(他认为这是可信答案分布的合理中位),而九个月前正是 Claude 4.5 Opus 让 agent 第一次真的能用的时候;等中国公司也开始面对 OpenAI 和 Anthropic 今天面对的问题,标准大概会跟着升上去 [122:52][123:38]。

最后一处留白最有意思,也是他反复追问却毫无收获的一个方向。灵感来自他在北京孔庙用中国 AI 学历史时被告知的一个事实:孔子的后人至今 79 代仍认祖归宗、仍在举行纪念仪式 [125:56]。他的联想是:如果我们能把价值观投射穿 79 代递归自我改进的 AI,那就太好了——远好过直接冲进智能爆炸 [126:42]。既然 Claude 有 constitution,会不会有人在做「儒家宪法」作为 alignment target?

答案是没有,一个指引都没拿到。一位教授的回答被他完整引述:「这是个有意思的想法,但我们大概是中国历史上传统哲学最弱的一代。你要记得,我们都是工程师。人文不是大家去的地方——中国政治层面的领导都是工程师,习本人是化学工程出身。我们没人真正学过哲学,没人像前代人那样受过儒家训练,这种思维方式不在我们的技术栈里。我们非常务实,问题来了就找解法」[127:30][128:16]。

Nathan 的结论是:中国的 AI 安全社群在「可控性 vs 品格」(corrigibility vs character)这场辩论上,明显站在 OpenAI 那一侧——要清晰规则、要 AI 可靠一致地遵守;他找不到任何人在想象「一个 AI 成长进某个智慧传统、并把它实现到最高形态」这种 Claude Constitution 式的图景 [129:02]。而他认为这是一片有价值的 green field:如果好的未来由多个强大 AI 以某种生态平衡共存构成,那么让它们各自扎根于不同的智慧传统,听起来是个相当好的主意 [129:48]。

金句

我以前把这叫做「但是中国」终结句——那么多 AI 安全和监管讨论最后都死在这里。 —— Nathan Labenz 3:50
如果把 OpenAI 和 Anthropic 从样本里减掉,被报道出来的那部分安全差距会消失一大半,故事会模糊得多。 —— Nathan Labenz 6:54
AI 越是快速发展,就越要把它的方向牢牢锚定在人类福祉上,治理越要精准校准,防范失控的安全措施越要加快改进。 —— 习近平 WAIC 开幕讲话(官方英译转译)48:47
「表面顺从与内部未对齐表征之间的落差」——这要不算 LessWrong 的文化胜利,我不知道什么算。 —— Nathan Labenz 68:58
我们大概是中国历史上传统哲学最弱的一代。你要记得,我们都是工程师。 —— 一位中国 AI 安全学者 [127:30]
西方觉得开源就收不回来了,互联网永不遗忘——中国的互联网是会遗忘的。 —— Nathan Labenz [113:35]

提到的书·产品·人物

适合谁听

任何在 AI 政策辩论里听过或说过「监管就是把未来让给中国」的人,以及想了解中国 AI 安全研究与治理真实图景的从业者。

← 返回全部观看原片 ↗