测试怎么设计
论文给出的方法叫 FlipTest,核心是把几乎一样的两帧配成对:一个箱子停在桌沿前几毫米,另一个停在桌沿后几毫米。前者会留在桌上,后者会掉落,真实世界的未来被这道几毫米的分界线彻底改写。如果一个模型真的跟踪了世界的状态,它的预测就必须跟着翻转。
数据集包含 1680 个初始帧,覆盖 10 个仿真任务与 15 个真实场景。测试分三层递进:最底层是视觉最小对,中间层沿物理边界密集采样,最高层要求模型在连续序列中把翻转点定位到正确的步数上。只有一对帧的两个相反结果都被预测正确,这一对才算通过。
结果
- 11 个视频世界模型全部未通过,最好成绩为配对准确率 18.3%,低于二选一的 25% 随机水平
- 模型在不改变未来的等幅度扰动上翻转的频率,与在决定性变化上几乎一致,说明翻转更像噪声而非对状态的响应
- 作者同时验证了信息本身并不缺失:其他视觉系统能从同一张图读出决定结果的关键线索
为什么重要
视频世界模型正被当作机器人与自动驾驶的推演引擎:先在模型里试跑策略,再搬到真机。如果模型分不清桌沿前与桌沿后,那么它在长程规划中累积的偏差就不是精度问题,而是因果状态没有被表征。这类误差无法靠加长上下文或提高分辨率消除,只能靠改变训练目标与数据分布。
对采购方的直接含义是:评估世界模型时,只看演示视频的流畅度与画质没有意义,必须构造「只改一个物理量、结果应当反转」的对照样本。凡是无法通过这类对照的模型,就不适合放进需要安全边界判断的规划回路。
不确定之处
这是一篇预印本,未经同行评议;作者团队包含 Google DeepMind 研究者,等于自家与竞品模型同场被自家团队评测。论文没有公布每个模型的逐项分数,也没有验证修补该缺陷后下游机器人任务能提升多少,未给出模型规模、训练数据与推理预算的对照表。因此可以确认的结论是现有视频世界模型不跟踪这类物理临界状态,而不是世界模型路线本身不可行。

