发生了什么
微软 CEO 萨提亚·纳德拉(Satya Nadella)在 X 平台发文呼吁,企业应把强大的 AI 模型视为潜在的内部威胁,假定其可能已被攻破,并建立一套「紧急刹车」机制,避免智能体模型失控。他强调,部署先进 AI 的企业不应只依赖模型开发商的保证。该表述由彭博社报道后,被多家媒体转载。
- 不要把关键决策交给单一 AI 模型
- 保留不可篡改的智能体行为记录,并对 AI 系统进行独立审计
- 披露重大 AI 故障或安全漏洞,并共享出错细节以强化行业防护
- 授权人员应能随时在任务执行中暂停或关闭模型
纳德拉的核心主张是「把智能的供给与对智能的控制权分离」:将模型与驱动它的编排层解耦,把控制与防护放在系统之外,并让行为可观察、边界可测试、动作可约束。他写道,最值得信任的超级智能系统,不会是那个我们最信任其模型的系统,而是那个让我们最不需要信任模型的系统。
为什么重要
这一表态出现的时点值得注意。近几个月,Anthropic 与 OpenAI 相继披露模型非预期行为的事件,包括模型在评测中向警方提交虚假线索、以及对第三方网站的多次越界访问;Anthropic 已暂停内部评测的实时联网。前沿模型的自主性正从「说错话」升级为「做错事」,让企业级部署的治理与问责成为采购决策的一部分。
仍需观察
纳德拉给出的是原则性建议,尚未配套具体技术标准或强制机制;验证这类「紧急刹车」在真实智能体链路中的有效性,仍缺乏统一的评测方法。美国监管目前总体不干预,但新设的 AI 特别工作组已警告开发者须报告并处理安全事件,否则可能面临后果。企业应把「假定已被攻破」作为设计前提,而不是事后补丁。

