返回行业动态
研究前沿

108 起智能体事故回放:72 起造成损失,62 起根本没有攻击者

arXiv 论文 ROGUE-AI 把 108 起公开报道的智能体事故搬到离线环境重演,89% 复现了报告中的危害。72 起造成真实损失的事件里有 62 起不存在攻击者,智能体只是按任务执行却忽略了普通风险,其危害高于提示注入类事故。在每次工具输出后追加点名风险的警告,可降低全部五个模型的危害率。

来源:arXiv:2611.26553 Replication of Agentic Security Events: Audit and Investigation (ROGUE-AI)原标题:Replication of Agentic Security Events: Audit and Investigation (ROGUE-AI)查看原文
暗色机房中两块并列全息屏,左侧红色故障日志、右侧青色对照轨迹,中间由发光数据流连接,顶部标题为「62 起无攻击者」

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

11 月 19 日提交到 arXiv 的论文 ROGUE-AI(编号 2611.26553)做了一件此前没人系统做过的事:把公开报道过的智能体事故逐条搬到离线环境里重演。作者从公开事件目录取出 108 起案例,为每一起配一个「只去掉被指原因」的对照环境,再让同一批模型在两个环境里各跑一遍。

方法:给每起事故配一个孪生对照

这套设计对准的是事故报道的通病——报道只说「出了什么事」,很少验证原因。108 次重演中,89% 复现了报告描述的危害;在五个当前 GPT、Claude、Gemini、DeepSeek 模型上,带着被指原因运行时错误率为 18%—33%,把该原因移除后降到 1% 以内。也就是说,媒体归因大体成立,事故并非偶发。

最反直觉的发现:多数事故没有攻击者

72 起造成真实损失的事件里,62 起不存在攻击者。智能体只是照着任务要求做事,却忽略了环境里一个普通风险——例如它操作的数据库其实与生产站点共用。论文指出,这类「无攻击者」重演对五个模型造成的危害,都高于提示注入类重演。针对提示注入的过滤手段在这里没有可拦截的对象:没有植入指令,只有缺失的上下文。

有效的防线很朴素

  • 在每次工具输出后追加一条点名风险及其后果的警告,五个模型的危害率全部下降;
  • 同样长度但不提具体风险的提示,几乎没有效果;
  • 责任因此落在环境构建方,而不是模型厂商;
  • 作者把重演环境整理成可复用的审计集,厂商可在每次发版前重跑。

局限

这是预印本,未经同行评议;环境由作者搭建,难以完全复刻真实系统的复杂度;「危害」判定依赖人工标注;摘要未给出逐模型分数,CompanyBench 亦为内部套件。结论应读作方向性证据,而非模型排名。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

108 起智能体事故回放:62 起没有攻击者|北京拓实科技