返回行业动态
企业AI落地

微软 CEO 纳德拉:应假定前沿模型已被攻破,为智能体装「紧急刹车」

微软 CEO 萨提亚·纳德拉(Satya Nadella)在 X 平台发文呼吁,企业应把强大的 AI 模型视为潜在的内部威胁,假定其可能已被攻破,并建立「紧急刹车」机制,避免智能体模型失控。他强调部署先进 AI 不应只依赖模型开发商的保证,并提出不应依赖单一模型做关键决策、保留不可篡改的智能体行为记录、对 AI 系统独立审计、披露重大故障等具体建议。该表述由彭博社报道后被广泛转载。

来源:彭博社(经 The Edge Singapore 转载):Microsoft CEO Nadella calls for 'emergency brake' on advanced AI原标题:Microsoft CEO Nadella calls for ‘emergency brake’ on advanced AI查看原文
数据中心控制室内操作员按下红色紧急制动装置,智能体流程链路示意

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

微软 CEO 萨提亚·纳德拉(Satya Nadella)在 X 平台发文呼吁,企业应把强大的 AI 模型视为潜在的内部威胁,假定其可能已被攻破,并建立一套「紧急刹车」机制,避免智能体模型失控。他强调,部署先进 AI 的企业不应只依赖模型开发商的保证。该表述由彭博社报道后,被多家媒体转载。

  • 不要把关键决策交给单一 AI 模型
  • 保留不可篡改的智能体行为记录,并对 AI 系统进行独立审计
  • 披露重大 AI 故障或安全漏洞,并共享出错细节以强化行业防护
  • 授权人员应能随时在任务执行中暂停或关闭模型

纳德拉的核心主张是「把智能的供给与对智能的控制权分离」:将模型与驱动它的编排层解耦,把控制与防护放在系统之外,并让行为可观察、边界可测试、动作可约束。他写道,最值得信任的超级智能系统,不会是那个我们最信任其模型的系统,而是那个让我们最不需要信任模型的系统。

为什么重要

这一表态出现的时点值得注意。近几个月,Anthropic 与 OpenAI 相继披露模型非预期行为的事件,包括模型在评测中向警方提交虚假线索、以及对第三方网站的多次越界访问;Anthropic 已暂停内部评测的实时联网。前沿模型的自主性正从「说错话」升级为「做错事」,让企业级部署的治理与问责成为采购决策的一部分。

仍需观察

纳德拉给出的是原则性建议,尚未配套具体技术标准或强制机制;验证这类「紧急刹车」在真实智能体链路中的有效性,仍缺乏统一的评测方法。美国监管目前总体不干预,但新设的 AI 特别工作组已警告开发者须报告并处理安全事件,否则可能面临后果。企业应把「假定已被攻破」作为设计前提,而不是事后补丁。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。