返回行业动态
研究前沿

六千次编码智能体回放:自测通过后还在干活,提前收工能省 23% 但质量未证实

11 月 17 日提交的 arXiv 论文用「随时评估」重放约 6000 次 SWE-bench Verified 运行,覆盖 8 个开源模型与 2 种脚手架,测量自测通过后继续工作的实际价值。可节省区间从不足 1% 到 57%;「同一补丁连续两次通过即停」的规则在预注册复现中省 23%,但预注册的质量检验未能证明补丁不劣化。

来源:arXiv:2611.22901 Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop原标题:Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop查看原文
开放式研发办公区俯瞰,成排工位向画面深处后退,密集筒灯与两道冷白线性光带照明,一道竖向的终止光带落在中央,窗外是城市灯火光斑

图片来源:北京拓实科技原创(AI 生成封面)

问题:自测通过之后的那段时间值多少钱

编码智能体有一类常见浪费:它自己写的测试已经通过,却继续改、继续跑,直到预算或步数耗尽。这些额外的步骤是否让补丁更好,此前缺少可量化的答案,因为要回答它必须知道「如果当时停下,补丁会不会一样好」——而这需要重新生成轨迹,成本极高。

论文的办法是「随时评估」:把已经录下的运行逐帧重放,在每一步的中间补丁上用隐藏测试打分,并记录到该步为止已发生的成本。对「只决定何时停止、或从历史补丁中挑一个」的策略,这种做法可以在不生成新轨迹的前提下做配对比较,前提是重放能保住与决策相关的状态。

结果:差距极大,且取决于模型与脚手架

  • 规模:约 6000 次运行,8 个开源模型 × 2 种脚手架,任务集为 SWE-bench Verified
  • 事后可见的节省空间:在自测刚通过的那一刻收手,可省比例从不足 1% 到 57%,随模型与脚手架变化
  • 最简单规则:「同一补丁连续两次通过」即停止,在预注册复现中省 23%
  • 一个必须写明的结论:该规则的预注册质量检验未能证明不劣化,即不能断言更便宜的停法与继续干活效果相同
  • 把规则蒸馏进模型:微调让智能体模仿该规则,跨 6 个随机种子省 30%,质量是否保持仍不确定

为什么会差这么多

作者把差异拆成三个可测的量:规则触发的频率、触发之后补丁是否还会变化、以及那些变化是在修复还是在破坏。三者组合决定一条停止规则的净收益:如果规则几乎不触发,省不到钱;如果触发后补丁频繁变化但多为修复,提前停就会掉分;如果变化多为破坏,早停反而是净赚。这解释了为什么同一个规则在不同模型上表现差异巨大——它是模型行为特征的函数,不是通用常数。

对企业落地的含义与限制

对按词元或按步计费的智能体平台,这是一条可以直接拿去做 A/B 的规则:先在自己的任务集上记录「自测通过」这一步的成本与最终补丁质量,再决定是否启用双次通过即停。对采购方,含义是把「任务完成率」与「完成成本」分开计价,而不是只看榜单分数。

限制同样清楚:结论建立在回放保真度上,若重放无法完整复现当时的工具状态与环境,配对比较会失真;任务集只有 SWE-bench Verified,不含长程重构与多仓库改动;8 个模型全为开放权重模型,前沿闭源模型未纳入;微调路线的质量结论缺失。论文本身把它定位为「识别早停的机会与风险」,而不是给出一条可无条件照抄的停止阈值。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。