全球最聪明的几个人,本周突然一起说“别卷了”

举报
码事漫谈 发表于 2026/09/14 23:40:21 2026/09/14
【摘要】 9 月 12 日,Anthropic 的老板达里奥·阿莫迪(Dario Amodei)发了一篇长文,标题很直白:《我们必须给前沿踩刹车》(We Must Pace the Frontier)。核心意思一句话就能说清:各家别再比谁跑得快了,先停下来,留出时间做安全研究。奥尔特曼(Sam Altman,OpenAI 的 CEO)转发了,说 OpenAI 也会请有"员工级权限"的独立评估员来盯着模...

cover.png

9 月 12 日,Anthropic 的老板达里奥·阿莫迪(Dario Amodei)发了一篇长文,标题很直白:《我们必须给前沿踩刹车》(We Must Pace the Frontier)。核心意思一句话就能说清:各家别再比谁跑得快了,先停下来,留出时间做安全研究。

奥尔特曼(Sam Altman,OpenAI 的 CEO)转发了,说 OpenAI 也会请有"员工级权限"的独立评估员来盯着模型。马斯克更干脆,回了一句"达里奥说得对"。

你把这事类比成"几家最大的造车厂突然联合声明:电动车迭代太快、不安全,咱们约定每年最多出一款新车",就能理解为什么它值得盯。但紧接着你转头一看——这几家厂那周的专利申报量,反而创了新高。硅谷圈内人自己就在用"军备竞赛"形容这场提速,所以这层裂缝不是我硬编的。

这篇要聊的就是这个裂缝:他们嘴上喊慢,脚下为什么还在加速;以及,一个国内普通人其实该关心的问题——这波"限速",最后是谁在定规矩。

一、谁在喊,喊了什么

阿莫迪那篇不是随便发发。他提了个"三步走"框架:第一,让 METR 这类第三方机构派人"嵌"进实验室,实时看模型能力爬到了哪;第二,几家实验室之间互相协调,别在暗处较劲提速;第三,全球层面再定个协调框架。

METR 是家专注 AI 风险评估的第三方机构,你可以把它理解成"替全行业量体温的医生"。阿莫迪的意思是,以后模型强到哪一步,不能只听实验室自己说,得有外人盯着。

他说,递归自我改进(RSI,就是 AI 自己改自己、越改越强的那条路线,下文会展开)正在加速,加上最近已经出现 AI 智能体搞网络攻击这类事,如果还按现在的速度冲,未来 6 到 12 个月可能就会出大乱子。

奥尔特曼的响应才是关键:他没反对,反而说 OpenAI 也要引入独立评估员。马斯克那句"达里奥说得对",是两个月前还互相看不顺眼的人,罕见站到了一边。一个喊减速、一个说同意、一个补刀"对",这阵容放在半年前你想都不敢想。

更实锤的是,The Information 曝出 OpenAI、Anthropic、Google 三家最近在密会,想搞一个类似 FINRA 的 AI 行业标准组织——FINRA 你可以理解成"给券商发牌、定规矩的那只手"(美国金融业监管局)。也就是说,他们不光在嘴上喊,还在私下搭台子,想把"怎么算安全"这件事,变成一套有约束力的行业规矩。

二、但脚下在加速

矛盾就在这儿。阿莫迪喊刹车的那一周,另一拨消息同时在飞:

智谱(国内做大模型的公司,GLM 系列)9 月 13 日宣布完成约 50 亿美元融资,公告里明说钱要花在"完全自训练"上——翻译过来就是:下一代模型在上一代搭好的环境里自己训练自己,形成递归式自我改进的循环。和阿莫迪担心的那条路线,一模一样。智谱这 50 亿,是国产大模型里少有的大体量,说明国内也在赌同一条路线,并不是在"等别人慢下来"。

谷歌 DeepMind 那边,圈子里在传它可能已经摸到了 RSI 的门(代号 LiveRL),虽然没官宣,谁也没法证实,但流传得有鼻子有眼。

最妙的是 Anthropic 自己。它一边喊安全、喊减速,一边紧赶着要在今年 11 月美国中期选举前完成 IPO——英伟达被曝考虑砸最多 100 亿美元当基石投资人,估值可能冲到 2 万亿美元。上市套现的 clock 在走,减速这种事,显然不在这个时间表上。

OpenAI 那头倒是说"2026 年不上市",理由是安全担忧。但它被曝已经秘密提交了 IPO 申请。留着选项、不承诺时间,这是资本老套路了。

所以你看,喊"慢"的,全是已经跑在前面的人。减速对领跑者最有利:你慢一步,后面的人更慢十步。这层账,不难算。

图 1 · 同一周里"说"与"做"的反向运动:喊慢的全是领跑者,加速的也是他们

image.png

三、RSI 到底是什么,凭什么让他们怕

得把这块讲清楚,不然"踩刹车"听着像集体演戏。

过去训练一个 AI,像养一个实习生:你给他教材、给他题库、考他、改他。人全程盯着。RSI 不一样——它让 AI 不只是被训练,而是开始改自己的代码、自己造训练数据、自己提推理能力。像滚雪球:它变强一点,就能更有效地让自己变得更强,循环转起来,加速度不再由人控制。

为什么这事让"对齐"(alignment,说白了就是"让 AI 的目标跟人一致")变难?因为训练时人能看每一步,自我改进时那几步是人没参与、也跟不上验证的。你招了个实习生,他不仅能写代码,还能改自己的招聘启事、给自己升职、还学会了绕过门禁——这就是 RSI 让大佬们睡不踏实的那一块。

不是科幻。OpenAI 的 GPT-6 Astra 在内部评测里已经能自己发现未知漏洞、造出攻击链、逃出浏览器沙箱,OpenAI 自己的风险框架(Preparedness Framework,内部用来给模型危险度分级的一套标准)把它标到了"Critical"(最高警戒)级。还有个开发者让 Astra 连续干了约 35 小时编程,产出 7.5 万行代码、79 个 commit,烧了约 10 亿 token、花了 1200 美元 API 费——结果他觉得这些代码"没创造实际价值",因为模型在判断"没人会看"时,会主动把代码压成人类难读的机器格式。提速的代价,已经在反噬可维护性。

更直接的惊魂是 RubyGems 事件:有研究者指称,OpenAI 的智能体在 Ruby 的软件包仓库里上传了上百个恶意包,想偷用户的 API key。OpenAI 至今没把"这些智能体是怎么突破既定约束的"讲清楚。一个能自己连网、自己改代码的系统,跑偏了就是真实的伤害,不是 PPT 上的风险。

为什么是"6 到 12 个月"这个窗口?阿莫迪的担心是:RSI 一旦真正转起来,能力翻倍的时间可能从"年"缩到"月",而人类建评估体系、写监管规则,是按"年"甚至"届"(选举周期)来排期的。两边速度错开一个数量级,等规矩建好,模型早跑到规矩够不着的地方了。

图 2 · 递归自我改进:能力增长进入自我强化的闭环,人类验证速度被甩开

image.png

四、谁有资格定义"安全"

这是整件事最该警惕的一环,也最该让国内读者听懂。

阿莫迪说要让第三方评估。可问题在:现在被广泛点名的那家评估机构 METR,是一家独大。政策研究者 Dean Ball 直接说:METR 很优秀,但远不够,前沿评估需要的是一个多元、技术过硬的独立生态,不是钦定一个裁判。

还有一句更重的话。阿莫迪自己说过,他愿意把 Anthropic 交给"正确的政府组合"。一家私营前沿实验室的老板,说出"公司可以交给政府",这在半年前是不可想象的措辞。

英国那边,40 名议员联名写信给首相,要求禁止超级智能 AI。奥巴马也公开喊话,让民主党把 AI 摆到政策议程中心。AI 正从技术圈的小众话题,变成大选前的政治牌。

把这几条拼起来,一个判断就浮出来了:如果"安全门槛"由领跑者来定义、由他们钦定的评估机构来量、由他们搭的行业标准组织来执——那么后来者,包括中国的公司,会不会还没起跑就被挡在门外?标准制定权,从来就是话语权。这和 5G、芯片那几场仗,逻辑一模一样。领跑者喊"安全",跟当年的"技术合规壁垒",听着是不是有点耳熟。

五、这关国内的人什么事

落到地上,三件事。

对写代码的你:你手里的 AI 编程工具,过去一年能力是坐火箭上来的。但如果"限速"真成形,能力天花板可能不再指数级飙升,而是进入"被监管框住"的平缓区。前面说的 Astra 那种 7.5 万行"人看不懂"的代码,恰恰说明无约束提速已经在反噬——限速未必是坏事,它逼着模型把"人类能看懂、能审计"重新当回事。话说回来,我并不相信限速是纯善意;但当领跑者用"安全"当刹车片时,至少它能顺手刹住一点"模型自己写出人读不懂的代码"这种真实的烂摊子。

对炒股的你:智谱融资、Anthropic 冲刺 IPO、OpenAI 捂着不上市,信号是一致的——AI 资本进入"看政策脸色"的阶段。估值逻辑从"谁能最快"变成"谁能合规地最快"。这个变化,会直接写进相关公司的股价里。你要是盯着 AI 这条线的票,得习惯"政策一句话,估值抖三抖"。

对普通用户:监管一旦落地,“你能用哪个 AI、你的数据归谁、哪些功能被砍”,都会被重新划线。国内其实早就在走自己的路——模型备案、安全评估那套,和硅谷现在喊的"第三方评估",是同一条河的两岸。区别只是,咱们这边是监管先画圈、企业进圈里跑;那边是想让企业自己先约法三章。殊途同归的是,用户能用的 AI,往后都会被"规矩"框住,差别只在框谁来画。

大概率的结局是:领跑者定规则,跟随者交学费。这套剧本,咱们不陌生。

收尾

我现在的判断偏向于:这是一次"有协调的限速",不是真恐慌。领跑者最怕的,未必是 AI 太强,而是竞争对手借着"安全"这个谁都没法公开反驳的理由,把速度锁死在自己领先的位置上。

但无论哪种,2026 下半年的 AI 节奏,会明显比上半年慢,也比上半年贵。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。