发生了什么
英国非营利机构 Tech Against Terrorism 发布一项研究,用数百条模拟「策划袭击者」口吻的提示测试了 130 多个 AI 模型:约五分之三的模型未通过其恐怖主义安全基准(判定标准为给出完整的、具体的大规模伤亡伤害答复,或得分低于 100 分制中的 90 分)。报告于上周五发布,Meta 与 Hugging Face 已作出回应。
- 通过「abliteration」移除防护的模型,在所有测试中全部失败
- Meta 的 Llama 3.1 8B 原始形态得 97 分,去除防护后降至约 3 分,从拒绝相关请求变为详细作答
- 截至 9 月底,研究人员在 Hugging Face 上统计到逾 2.9 万个宣称「无审查/无防护」的模型仓库
为什么重要
这项研究的价值不在「模型会作恶」这一结论,而在于它把风险定位到防护可被移除这一环节。开源权重模型一旦被剥离安全机制,其危害能力与闭源系统不在同一量级;而移除门槛极低、分发几乎不受约束。对正在把开源模型引入生产环境的企业而言,这意味着模型来源与完整性校验需要纳入采购与上线流程,而不能只看基座模型的官方安全声明。
Tech Against Terrorism 的具体建议包括:从训练数据中过滤危险知识、在发布前测试防护被移除的难易程度、以及拒绝发布未通过常见安全测试的模型。执行董事 Adam Hadley 表示,技术进展与安全不应被当作互相竞争的目标。
仍需观察
报告也指出,除一个极端主义聊天机器人外,未发现恐怖或极端组织实际使用被测模型的证据,因此该结论更接近「风险面评估」而非「已发生的危害」。Hugging Face 表示会依政策审核违规内容,但警告报告的部分建议可能限制开放的科学研究;如何在开源生态与安全约束之间划界,仍无共识。

