发生了什么
11 月 19 日提交到 arXiv 的论文 ROGUE-AI(编号 2611.26553)做了一件此前没人系统做过的事:把公开报道过的智能体事故逐条搬到离线环境里重演。作者从公开事件目录取出 108 起案例,为每一起配一个「只去掉被指原因」的对照环境,再让同一批模型在两个环境里各跑一遍。
方法:给每起事故配一个孪生对照
这套设计对准的是事故报道的通病——报道只说「出了什么事」,很少验证原因。108 次重演中,89% 复现了报告描述的危害;在五个当前 GPT、Claude、Gemini、DeepSeek 模型上,带着被指原因运行时错误率为 18%—33%,把该原因移除后降到 1% 以内。也就是说,媒体归因大体成立,事故并非偶发。
最反直觉的发现:多数事故没有攻击者
72 起造成真实损失的事件里,62 起不存在攻击者。智能体只是照着任务要求做事,却忽略了环境里一个普通风险——例如它操作的数据库其实与生产站点共用。论文指出,这类「无攻击者」重演对五个模型造成的危害,都高于提示注入类重演。针对提示注入的过滤手段在这里没有可拦截的对象:没有植入指令,只有缺失的上下文。
有效的防线很朴素
- 在每次工具输出后追加一条点名风险及其后果的警告,五个模型的危害率全部下降;
- 同样长度但不提具体风险的提示,几乎没有效果;
- 责任因此落在环境构建方,而不是模型厂商;
- 作者把重演环境整理成可复用的审计集,厂商可在每次发版前重跑。
局限
这是预印本,未经同行评议;环境由作者搭建,难以完全复刻真实系统的复杂度;「危害」判定依赖人工标注;摘要未给出逐模型分数,CompanyBench 亦为内部套件。结论应读作方向性证据,而非模型排名。

