FRM-2603.24581 Formalization

0. Overview

Latent-WAM（PPR-2603.24581，Wang 等 2026）在 perception-free（不依赖感知标注）设定下构建紧凑且与规划相关的世界表示。论文先把既有世界模型规划器分为两类并诊断：经显式视频生成学规划的一类（Epona、DriveVLA-W0）计算开销大、中间表示偏向与规划无关的视觉细节；用隐式未来潜预测的一类（LAW、World4Drive）表示轻量但质量不足——具体三点：潜表示压缩不充分、缺乏空间理解或推理时依赖外部深度估计模型、历史与动态信息利用不足（多数只由第 \(T\) 帧预测第 \(T{+}1\) 帧）。Latent-WAM 用两个模块回应：空间感知压缩世界编码器（SCWE） 把几何基础模型（WorldMirror）的知识经蒸馏注入 DINO 视觉骨干，再用可学习 scene query 把多视角图像压成紧凑 token；动态潜世界模型（DLWM） 用因果 Transformer 自回归预测未来世界状态，以 3D-RoPE 编码时空位置、以 teacher forcing mask 保证帧内双向/跨帧因果，并对未来 ego 状态（驾驶命令、速度、加速度）施加监督。推理时只保留 SCWE 与轨迹解码器。

本重建覆盖 Abstract、§1（Introduction）、§3（Method）、§4（Experiments）与 §5（Conclusion），版本锚定 arXiv:2603.24581v1。

1. Definitions

入库概念（→ CPT）：

• EPDMS → 论文主评测口径（NAVSIM v2 两阶段），库内定义为 BMK-006；子分数概念见 CPT-017。
• HD-Score → HUGSIM 的闭环评分，出处 PPR-2412.01718。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 空间感知压缩世界编码器（Spatial-Aware Compressive World Encoder, SCWE）：把多视角时序图像 \(I\) 嵌入 patch token \(X\)，与可学习 scene query \(Q_\text{scene}\) 拼接后经 DINO 编码器 \(\mathcal E\) 得到 \(\hat Q_\text{scene},\hat X=\mathcal E([Q_\text{scene};X])\)；只保留 \(\hat Q_\text{scene}\) 作为紧凑场景 token。
• 几何对齐（geometric alignment）：以 patch token 为载体接收几何基础模型 \(f_g\) 的稠密空间语义，损失 \(\mathcal L_\text{align}=1-\cos(\mathrm{LN}(\phi(\hat X)), \mathrm{LN}(f_g(I)))\)，\(f_g\) 全程冻结（特征可离线与缓存）。
• 世界状态聚合（world latent status aggregation）：跨相机聚合 \(\hat Q_\text{scene}\) 并与 ego 状态嵌入 \(S_\text{ego}\)（驾驶命令、速度、加速度经单层 MLP 编码）拼接，得 \(S_\text{world}\in\mathbb R^{T\times(M\times N+1)\times D_l}\)。
• 动态潜世界模型（Dynamic Latent World Model, DLWM）：以可学习未来 query \(Q_\text{future}\) 为 query、历史世界状态为 KV cache，自回归预测未来世界状态 \(S_\text{future}=\text{DLWM}(Q_\text{future}, KV_\text{future})\)；监督目标 \(S_\text{future}^\text{GT}\) 由 SCWE 的 EMA 冻结副本（target encoder）生成。
• teacher forcing 注意力掩码：帧内 token 双向注意，跨帧只注意序列中更早的 token，实现帧块级因果并支持未来状态并行预测。
• 3D-RoPE：把 head 维度拆三段分别编码时间坐标 \(t\)、相机索引 \(m\)、token 索引 \(n\)（绝对位置索引；频率 50/10/100）。
• ego 状态监督：从预测未来世界状态取出 ego 嵌入，经三个 MLP（命令/速度/加速度解码器）得 \(C_\text{pred},V_\text{pred}, A_\text{pred}\)，配 \(\mathcal L_\text{cmd}\)（交叉熵）、\(\mathcal L_v\)、\(\mathcal L_a\)（MSE）。
• 轨迹解码器：可学习轨迹 query \(Q_\tau\) 与当前世界状态 \(S_\text{world}^t\) 输入解码器，解出 \(K\) 条候选轨迹（每条 \(n_p\) 个 \((x,y,\theta)\) 位姿），按当前驾驶命令选择 \(\tau=D_\tau(Q_\tau, S_\text{world}^t,C)\)。
• 训练目标：\(\mathcal L=\mathcal L_\text{traj}+\alpha \mathcal L_\text{align}+\beta\mathcal L_\text{wm}+\gamma \mathcal L_\text{ego}\)（\(\alpha=0.1\)、\(\beta=0.2\)、\(\gamma=0.1\)）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（表示的轻量性约束）：要建模长时程世界状态转移，世界状态表示必须足够轻量，同时压缩足够丰富的场景信息。
• AX-2（历史与动态的必要性）：规划相关的世界建模需要历史与动态信息；只预测下一帧表示不足（对既有方法缺陷的诊断前提）。
• AX-3（几何知识可蒸馏且可离线缓存）：几何基础模型的几何感知可经特征蒸馏注入视觉骨干，且因其冻结可预计算缓存——这是训练可行性的工程前提，不是理论必然。
• AX-4（推理可省去动力学分支）：在 perception-free 设定下，推理只需 SCWE 与轨迹解码器即可规划，动力学分支不提供推理增益。
• AX-5（ego 状态是世界动态的一部分）：ego 状态随世界演化，准确预测它对建模世界转移是必要的，需显式监督。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本论文为实证与工程型，未提出独立命题层；可推导成分主要是定义层构造（如 target encoder 为 SCWE 的 EMA 冻结副本，故其输出的监督信号随在线骨干平滑变化）。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：NAVSIM v2 表（含 perception-free 对照）、HUGSIM 表（RC 与 HD-Score）、数据效率-性能图（气泡图，参数规模与训练数据量）、注意力图定性分析、消融表（SCWE/DLWM/几何蒸馏/ 各损失项、注意力步数）。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（既有方法三缺陷）：显式视频生成路线计算重且表示偏视觉细节；隐式潜预测路线压缩不足、空间理解缺或依赖外部深度、历史动态利用不足。
• AR-2（由 AX-1 + AX-3 推出 SCWE）：用可学习 scene query 压缩多视角图像得紧凑 token，同时以几何蒸馏注入空间理解；几何骨干冻结使其特征可离线与缓存，训练开销可接受。
• AR-3（由 AX-2 推出 DLWM）：用因果 Transformer 以历史世界状态为条件自回归预测未来世界状态，配 3D-RoPE 区分时空位置、teacher forcing 掩码保证因果并支持并行预测；自监督视觉预测 + 监督运动预测共同赋予动态理解。
• AR-4（由 AX-5 推出 ego 状态监督）：显式监督未来 ego 状态以提供世界状态转移的精确引导。
• AR-5（由 AX-4 推出推理结构）：推理只保留 SCWE 与轨迹解码器，不引入额外模块的推理延迟。
• AR-6（经验支撑）：NAVSIM v2 的 EPDMS 与 HUGSIM 的 RC/HD-Score、数据效率图与注意力图支撑 AR-1..AR-5（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论段：SCWE 与 DLWM 联合优化视觉骨干——几何蒸馏增强空间理解、自监督改善时序动态建模；该设计在推理时无需辅助模块的额外算力。
• 作者强调数据与参数效率：以更少训练数据与更小模型（摘要称 104M 参数）取得领先结果。

本库评论

• 动力学分支在推理期丢弃：论文原文明确“inference 时只需 SCWE 与轨迹解码器”；这与 DA-WAM（PPR-2608.19085）对 Latent-WAM 的刻画一致。解释“世界模型的价值”时须区分它与 DA-WAM 的推理期保留策略。
• 效率主张的口径：数据效率气泡图把 World4Drive 单独标注（因其另用 ViT-L 深度估计器），说明比较口径经过人为切分；引用“显著更少数据”时应带上该切分说明。
• 跨基准不可比：89.3 EPDMS 属 NAVSIM v2（非反应式），28.9 HD-Score/45.9 RC 属 HUGSIM（反应式闭环），两类分数不可互换。
• perception-free 的含义：论文自称在 perception-free 设定下超过 DriveVLA-W0 3.2 EPDMS；“perception-free”指不使用感知标注，不等于无感知输入（仍用多视角图像）。
• 未核项：\(T\)、\(M\)、\(N\)、\(K\)、\(n_p\) 的具体取值、DINO 版本、WorldMirror 蒸馏的缓存实现细节未在本骨架核对，P3 需回源。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 升级批次，NAVSIM 线第 5 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。