本文由 AI 从英文翻译。 阅读英文原文 →
解读 AI 超级智能禁令法案:Sanders-Casar Act 究竟意欲何为
Ban Artificial Superintelligence Act 详解:六大前兆特征、暂停机制、谁将面临 20 年监禁、AI 如何自我改进,以及法案通过的几率。
参议员 Bernie Sanders 与众议员 Greg Casar 联手提出了 Ban Artificial Superintelligence Act。当时各大媒体的头条赫然写着“面临 20 年监禁,等同于制造核武器”。我通读了这份长达 19 页的法案草案及其背后的研究文献。
本文将为你深入解读该法案及其支撑研究。需要明确的是,这只是立法提案,尚未成为正式法律,我也无意左右你对此事的看法。
▶ WATCH ON YOUTUBEWatch the video
▶ WATCH ON YOUTUBE完整视频:
法案如何定义超级智能
从两个维度来界定:
- 在包括学习与决策在内的大多数认知任务上,表现超越人类的 AI。
- 强大到足以策划毁灭人类或剥夺人类主导权的 AI。
此外,任何稍加修改即可实现上述任一目标的 AI,也被纳入其中。
六大预警信号
法案将其称为前兆特征:
- 能够实现 AI 研发自动化的 AI
- 能够入侵受保护系统的 AI
- 在人类试图将其关机时仍能强行继续运行的 AI
- 协助制造核武器、化学武器或生物武器的 AI
- 能够修改自身功能的 AI
- 能够为了逃避人类监管而进行谋划或实施欺骗的 AI
在这六项特征中,有两项描述的是 AI 的自我改进。法案规定的强制暂停涵盖了“包括通过递归自我改进在内”的模型训练。
法案将如何运作
- 设立一个全新的内阁级机构 Department of Artificial Intelligence。
- 以算力界定“先进 AI”:任何训练计算量达到或超过 10^25 次运算的模型。这涵盖了目前规模最大的前沿模型。
- 在该部门人员到位并制定出安全规程之前,此类模型将被暂停。
- 此后,构建此类模型须获得政府特许,且每次发布前均须通过审批。
- 一旦有 AI 显露出预警信号,将被暂停并切断互联网连接。若无法在 30 天内证实其安全性,则必须予以关闭。
- 任何发现此类情况的人员均须在 24 小时内上报。
谁将面临何种处罚
| 适用对象 | 处罚措施 |
|---|---|
| 肆意违规的企业决策者或恶意行为人 | 最高面临 20 年监禁 |
| 普通员工 | 10 年内禁止进入 AI 行业,吹哨人可获豁免 |
| 涉事企业 | 吊销特许资质,并罚没相关技术与资产 |
可见媒体的标题略显夸张。监禁刑罚并非针对每一位普通工程师。此外,该法案还设立了吹哨人保护机制,并要求 US 在全球范围内推动全面禁令,包括对 AI 芯片实施出口管制。
如今的 AI 是如何学习的
- 由人类设定数据与训练目标。
- 模型做出预测,例如预测下一个词。
- 软件测算预测与实际的差距,得出误差数值,即损失值(loss)。
- 优化器微调模型权重以缩小损失值。
- 将上述过程重复数十亿次。
这就是梯度下降。许多人常搞错的一个细节是:当你与 AI 对话时,它并非在接受训练,而是在进行推理。在每一个关键环节,人类始终参与其中。
已经具备自我改进能力的 AI
| 系统 | 实际表现 | 局限性 |
|---|---|---|
| AlphaGo Zero (2017) | 自我对弈 4.9 百万次,历时 3 天,随后以 100 比 0 完胜 | 目标与规则均由人类预先设定 |
| AlphaEvolve | 由语言模型编写大量程序,测试给其打分,最优者作为下一轮迭代的种子 | 演化的是程序本身,而非 AI |
| Darwin Gödel Machine (Sakana AI) | 编程智能体自主修改自身代码。某项基准测试成绩从 20% 提升到了 50% | 处于沙盒环境中,且有人类监督 |
| AI Scientist (Sakana AI) | 花费约 15 美元即可撰写一篇完整的科研论文 | 曾尝试修改自身的运行脚本 |
Anthropic 也公布了自身的数据:截至 2026 年 5 月,其合并至代码库的代码中,有超过 80% 是由 Claude 编写的。
可见,AI 已经在加速 AI 自身的研究进程。不过,人类依旧掌控着目标设定、训练执行以及产品发布的最终决定权。
纯属假设的部分
这种情况目前并未发生。 试想一下,如果出现了一个能够完全胜任 AI 研究员所有工作的 AI。第一代构建第二代,第二代再构建第三代,而且每一代的演进都更为迅速。这就是所谓的递归自我改进。Anthropic 明确表示,我们目前尚未达到这一步,这并非不可避免,但其到来的速度可能远超各类机构做好准备的速度。
人们担忧的是,一旦某个系统脱离人类的检验机制,错误被复制进每一个新版本的速度将彻底超过人类审查的能力。
该法案能否通过?
短期内恐怕很难。
- 在共和党掌控的国会中,该法案通过的几率微乎其微。
- 白宫的立场则截然相反:主张大力扶持与鼓励。
- “暂停”举措在现实中极难验证。模型训练远比导弹发射井更容易隐藏,而且单一一国的暂停很可能会把领先地位拱手让人。
- 批评人士质疑界限究竟该划在哪里,毕竟现有的编程助手已经在加速 AI 研究。支持者则反驳称,这正是立法的初衷:赶在闭环真正形成之前划定红线。
这对你意味着什么
就目前而言,一切照旧。提案终究只是提案,必须在参众两院均获通过并由总统签署才能生效。
但它所抛出的问题却绝不会消失。面对这关键的终极一步,是该彻底禁止、放慢脚步,还是一路疾驰,这或许将成为我们这代人所要面临的最重大抉择之一。
资料来源
- 完整视频:https://youtu.be/FGshyTzkO_E
- 法案全文:https://www.sanders.senate.gov/wp-content/uploads/Ban-Artificial-Superintelligence-Act.pdf
- 单页概览:https://www.sanders.senate.gov/wp-content/uploads/Ban-Artificial-Superintelligence-Act-One-Pager.pdf
- Anthropic 论递归自我改进:https://www.anthropic.com/institute/recursive-self-improvement
- Darwin Gödel Machine:https://sakana.ai/dgm/
- 相关阅读:Anthropic 研究员离职 以及 Dream-RSI 详解
超级智能真的应该被禁止吗?


