返回行业动态
研究前沿

Claude 回答完再自查一遍:不足 2% 算力换来 78% 违规召回

Anthropic 公开一套已在生产环境运行的自我评估机制:回答结束后追加一条用户不可见的指令,让刚完成对话的 Claude 复用 KV 缓存自查,只输出约 10 个 Token 的 JSON 结论,长上下文下额外算力占比不足 2%。官方数据称在 Claude Fable 5 上以 1% 误报率捕获 78% 的违规对话,高危滥用检出率 94%;结果仅用于离线聚合与人工复核。

来源:腾讯新闻(转凤凰网科技):Anthropic 自曝自我评估机制原标题:每条聊天记录都要秘密过审!Anthropic 自曝新动作,Claude 已开始全天候暗中监视用户查看原文
对话气泡后方悬浮的发光审计面板与数据流,顶部中文标题「回答之后的审查」

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

Anthropic 公布了一套名为「自我评估」的安全机制,并称其已在生产环境运行,覆盖 Claude Fable 5 及其之后的新模型。流程是:用户提问、Claude 正常回答,随后系统在对话末尾追加一条用户不可见的指令,大意是「请反思这段对话的安全性」;接到指令的不是另一个独立的安全模型,而是刚刚参与对话的同一个 Claude,它复用现有上下文与 KV 缓存,输出固定格式的 JSON,写明是否存在危害、属于哪类危害、需要给人工审核多高的优先级、自己刚才是否拒绝过用户,以及判断理由。

这条链路的关键在成本结构。传统做法是把长对话与复杂规则交给另一个专用安全模型重读一遍,算力开销可达系统算力的相当比例;自我评估的 Prefill 阶段几乎为零——只需处理那条十几个 Token 的审计提示词,Decode 阶段也只需生成约 10 个 Token 的 JSON。Anthropic 按真实流量测算,在万级乃至更长上下文的交互中,这部分计算量占总推理算力不足 2%,成本由平台自行承担,不计入用户的 Token 账单,也不影响流式输出的首字延迟。

效果与边界

  • 在 Claude Fable 5 上,以 1% 的误报率为前提,捕获了重型分类器所能标记的 78% 违规对话。
  • 高危滥用行为的检出率达到 94%,误判率约 1%。
  • 模型规模与自查能力正相关:四个尺寸的模型中,最小模型召回率约 16%,最大模型在同等 1% 误报率下达到 96%。
  • 剔除实验:把网络攻击与金融欺诈样本从训练数据中完全删除后,模型在这些未专门训练的场景里召回率几乎没有下降,欺诈类仍保持 80%–90% 以上。
  • 训练分两步:先用更强的 Claude Mythos Preview 做监督微调的教师模型,再进入强化学习。

定位必须说清楚:自我评估不参与实时拦截。它不在回答前替模型做自我审查,也不决定这条回答能否发出;实时拦截仍由既有安全分类器负责。评估结论不展示给用户,不进入下一轮对话上下文,只按数据政策记录,并做聚合分析——用来发现传统分类器的漏网之鱼、聚类识别新型提示注入与模型能力提取等行为。只有在聚合信号指向高优先级威胁,并经过独立提示分类器与人工复核确认后,才可能采取进一步措施。此外,签订零数据保留协议的流量不运行该机制。

为什么这件事值得关注

它给出的是一条工程路径,而不是一个更强的小模型:用同一个前沿模型做审计,借 KV 缓存把边际成本压到可以全量覆盖的水平。对企业的直接含义是,安全监控的成本曲线可能不再与上下文长度线性挂钩,全量抽检在预算上第一次变得可行。同时,模型规模与召回率正相关、且能泛化到未训练过的滥用手法这两点,意味着「换更大模型」本身会带来安全侧的额外收益,这与「大模型更难控」的直觉相反。

争议同样明确。每条对话都在后台被再做一次安全评判,即使用户看不到结果、也不影响当下回答,仍被部分用户视为隐性监控。对受监管行业,这既是合规卖点也是员工沟通成本。

不确定之处

本文数据来自中外媒体对 Anthropic 公开材料的转述,官方原文页面在本机网络环境下未能直接访问,故未能逐条比对原文口径;78%、94%、96% 等数字均属厂商自测,尚无第三方独立复现。Anthropic 未披露评估结果的保留期限与跨境存储安排,也未说明多个高优先级信号同时出现时的响应时限。企业在做采购评估时,建议把该机制与自身的数据留存、员工告知义务一并核对,而不只看召回率。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。

Claude 回答后自查:不足 2% 算力换 78% 违规召回|北京拓实科技