FRM-2510.12796 Formalization

0. Overview

DriveVLA-W0（PPR-2510.12796，Li 等 2025）处理视觉—语言—动作（VLA）驾驶模型的监督赤字。论文的诊断：把 VLA 模型扩展到大规模数据是通往更泛化驾驶智能的路径，但 VLA 受“监督赤字（supervision deficit）”限制——庞大的模型容量仅由稀疏、低维的动作监督，绝大部分表示能力被闲置。为此论文提出 DriveVLA-W0：用世界建模预测未来图像产生密集自监督信号，迫使模型学习驾驶环境的内在动力学。该范式按两类主流 VLA 原型分别实例化：面向离散视觉 token 的自回归世界模型与面向连续视觉特征的扩散世界模型。在学到丰富表示的基础上，论文另引入轻量动作专家以解决实时部署的推理延迟。论文报告在 NAVSIM v1/v2 与一个大 680 倍的自建数据集上显著优于 BEV 与 VLA 基线，且放大了数据缩放律——训练数据越大，性能增益越快。

本重建覆盖 Abstract 与 §3（Methodology：VLA 基线、世界建模、动作专家）与 §5 结论，版本锚定 arXiv:2510.12796v3。

1. Definitions

入库概念（→ CPT）：

• PDMS → CPT-017：NAVSIM v1 口径；v2 见 BMK-006。
• NAVSIM → BMK-006。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• VLA 基线：输入为语言指令序列 \(L_t\)、前视图图像 \(V_t\) 与过去动作 \(A_{t-1}\)。两个变体分别对应两类 VLM 范式：VLA(VQ) 把图像量化为离散视觉 token（Emu3-8B 式主干）、VLA(ViT) 抽连续特征（Qwen2.5-VL-7B 式主干）。动作侧用 FAST tokenizer 把连续 waypoint 轨迹转为离散 token 序列。每步把多模态块按历史 \(H\) 步交错拼接成 \(S_t=[L_{t-H},V_{t-H},A_{t-H-1},\dots,L_t,V_t,A_{t-1}]\)，以因果掩码自回归处理；末层隐状态按模态切分为语言/视觉/动作特征。训练用交叉熵预测真值动作 token 序列，推理自回归生成动作 token 再经 FAST 反 token 化回轨迹。
• 监督赤字：仅监督动作会把高维传感输入压缩为少数低维控制信号，形成稀疏监督信号，导致大容量模型表示能力闲置。
• 世界建模（两种实例化）：AR 世界模型——以过去观测与动作为条件，自回归生成当前图像的离散视觉 token 序列，用下一 token 预测损失优化；扩散世界模型——在连续潜空间中去噪生成未来图像，条件于多模态输入。
• 动作专家（MoE）：轻量（500M）动作专家与完整 VLA 主干（VLA Expert）组成 MoE，二者 transformer 块结构相似但隐维小得多，经 Joint Attention 融合：两专家各自算 Q/K/V 后沿 token 序列维拼接 \(Q=[Q_\text{VLA};Q_\text{AE}]\) 等，注意力输出再切回各自专家。作为比较三种动作解码方案的试验台：query-based（可学动作查询经 joint attention 与多模态上下文交互，MLP 头回归连续轨迹，\(L_1\) 损失）、自回归、流匹配；三者共性是预填上一步动作特征 \(A_{t-1}\) 以提供时序先验。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（监督赤字）：VLA 模型的能力被稀疏、低维的动作监督所限，大量表示能力未被利用。
• AX-2（世界建模给出密集信号）：预测未来图像所生成的自监督信号是密集的，能迫使模型学习驾驶环境的内在动力学。
• AX-3（主干异质需分别实例化）：离散视觉词表与连续视觉特征的两类 VLA 需要不同的世界建模实现（自回归 vs 扩散）。
• AX-4（推理延迟需单独解决）：大 VLA 主干不适合实时控制，需轻量动作专家以保证实时性。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为训练范式型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题（如“密集预测性自监督优于稀疏动作监督”），再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：NAVSIM v1/v2 与自建数据集的性能对比、数据缩放曲线（增益随数据量加速）、三种动作解码方案随规模的表现反转（结论称更简单的自回归最终胜出）、世界建模消融。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1 提出问题）：以“监督赤字”解释 VLA 在驾驶上扩展受限的根因。
• AR-2（由 AX-2 推出世界建模目标）：以预测未来图像作为密集自监督任务，替代/补充稀疏动作监督。
• AR-3（由 AX-3 推出双实例化）：AR 世界模型服务于离散词表主干、扩散世界模型服务于连续特征主干。
• AR-4（由 AX-4 推出动作专家）：以轻量 MoE 动作专家 + Joint Attention 在保持表示质量的同时满足实时性，并在此试验台上比较三种解码方案。
• AR-5（经验支撑）：NAVSIM 与自建数据集结果、缩放曲线与解码方案对比支撑 AR-1..AR-4（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论段：密集预测性世界建模是释放大规模数据潜力的关键一步；并报告一个反直觉发现——随规模增大，更简单的自回归动作解码最终占优。

本库评论

• 与“世界模型”谱系的区分（承重）：DriveVLA-W0 的世界模型预测图像/token（像素或离散视觉空间），与 LAW/World4Drive 预测潜特征 、与 OccWorld 预测占据属不同预测目标；四者可统称世界模型但不可互换比较（各卡须带预测目标）。
• “放大数据缩放律”是本卡最强的经验主张：该结论依赖自建的 680× 规模数据集，库内无法复核，引用时须标明结论来源为单一团队自建数据；跨来源检验前不宜作为库级结论陈述。
• 对动作解码方案的结论须限定条件：结论称自回归解码随规模反超流匹配——这是该试验台上的观测，不是“流匹配不适用于驾驶”的一般结论（流匹配相关条目另见 DiffusionDrive 等）。
• 与 AutoVLA 的同类问题：两者都属 VLA 驾驶范式，驱动力不同——本卡以监督赤字为动机（表示学习），AutoVLA 以推理与强化微调为动机；合并讨论时须先对齐着眼点。
• 评测域：NAVSIM v1/v2（非反应式）+ 自建数据集。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 24 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。