FRM-2512.10226 Formalization

0. Overview

Latent-CoT-Drive（PPR-2512.10226，2026）处理驾驶 VLA 的推理表示选择。论文的诊断：近期驾驶 VLA 模型探索推理期思维链（CoT）以提升困难场景表现与安全性，但多数工作用自然语言表达 CoT；而文本用于驾驶有三重缺陷——（1）自然语言不适合表示驾驶决策核心的时空几何与多智能体交互；（2）自回归生成长文本带来显著延迟，难以实时部署；（3）动作与文本理由对齐弱（例如文本说左转而动作指向右转）。因此论文主张文本不是驾驶 VLA 最合适的推理基底，转而提出潜语言的 CoT：把推理与决策统一在动作对齐的潜空间中——推理由“动作提案 token”（与模型输出动作同一词表）与“潜世界模型 token”（接地于学得的潜世界模型、表达这些动作的未来后果）交错构成。冷启动通过真值未来 rollout 监督动作提案与潜世界 token。

本重建覆盖 Abstract、§2（Method：潜 CoT 推理、训练策略）与 §4 结论，版本锚定 arXiv:2512.10226v1。

1. Definitions

入库概念（→ CPT）：

• 本卡评测于 PhysicalAI-AV 数据集（NVIDIA，1700+ 小时真实多相机日志）的场景平衡子集（39072 训练片段 87 小时、23758 验证片段 53 小时；每片段 1.6 秒历史、6.4 秒未来、10 Hz），指标为 ADE、OffRoad@2.5/5.0 与 Coll@2.5/5.0。库内暂无对应 BMK 卡，属待裁的基准缺口。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 推理轨迹（reasoning branch）：\(R^{(i)}=[A_0^{(i)},\mathrm{LWM}_1^{(i)},A_1^{(i)},\mathrm{LWM}_2^{(i)}, \dots,A_{K-1}^{(i)},\mathrm{LWM}_K^{(i)}]\)；其中 \(A_t^{(i)}\) 是动作提案 token（取自与最终输出相同的动作词表，按 1.0 秒块分组共 10 个逐步 token：\(A_t^{(i)}:=(a_{10(t-1)+1},\dots,a_{10t})\)），\(\mathrm{LWM}_{t+1}^{(i)}\) 是概括同一 1.0 秒窗口（10 Hz）的 ego 中心潜世界状态；整条推理以历史锚点 \(\mathrm{LWM}_0\) 起头。
• 动作提案：\(A_t^{(i)}\sim\pi_\theta(\cdot\mid o_\text{image}, o_\text{ego},\mathrm{LWM}_0,R^{(i)}_{<t})\)；提案仅作推理上下文，不承诺具体的最终计划。
• LWM 预测：\(\mathrm{LWM}^{(i)}_{t+1}\sim q_\phi(\cdot\mid o_\text{image},o_\text{ego},\mathrm{LWM}_0,R^{(i)}_{<t},A_t^{(i)})\)，实现上由轻量 MLP \(f_\phi(\mathbf h_t^\text{VLA})\) 输出 LWM token（\(\mathbf h_t^\text{VLA}\) 为以 \(A_t^{(i)}\) 为输入后的 VLA 隐嵌入）。
• 多分支推理：自回归生成固定数 \(B\) 个分支（默认 \(B=2\)），共享历史锚点 \(\mathrm{LWM}_0\)，顺序生成且后续分支可条件于先前轨迹 \(R^{(<i)}\)；\(K\) 与 \(B\) 在训练与评测中固定。
• 理由上下文与动作预测：\(\textsc{Reason}=[\mathrm{LWM}_0,R^{(1)}, \dots,R^{(B)}]\)，最终轨迹 \(\tau\) 以该上下文为条件预测。
• 三阶段训练：阶段 0 非推理 VLA 预训练（SFT 预测轨迹 token），保留两份——其一作后续初始化、其二冻结专用于生成动作提案；阶段 1 潜 CoT 冷启动（教师强制）——用冻结的非推理 VLA 采样 \(B\) 条轨迹并切为 \(K\) 个 1 秒动作块，对每块积分其 ego 系 \(\Delta\) 位姿得该窗口 ego 位姿，把真值未来跟踪智能体包围盒重定心到该 ego 系并编码为动作条件的 LWM 目标 \(\tilde{\mathrm{LWM}}^{(i)}_{t+1}\)，从而得到反映各提案窗口后果的分支特异世界 token；阶段 2 强化学习后训练——用固定推理预算 \((K,B)\) 采 \(G\) 个随机补全，鼓励模型产出有用的潜推理并改善最终动作可行性（不再只是模仿冻结模型）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（文本不适合驾驶）：自然语言不适合表示驾驶决策核心的时空几何与多智能体交互。
• AX-2（文本链的延迟代价）：自回归生成长文本链引入不可忽视的延迟，使实时部署困难。
• AX-3（动作—文本对齐弱）：生成的动作可能与先行的语言理由显著不一致（弱对齐）。
• AX-4（潜空间可统一推理与决策）：把推理与决策统一在动作对齐的潜空间中，可同时获得效率与对齐。
• AX-5（后果需被建模）：推理应表达“所考虑动作的可能结果”，故需交错世界模型 token 以承载后果。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为方法型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题（如“推理基底应与输出空间同构”），再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：PhysicalAI-AV 子集上的 ADE、OffRoad@2.5/5.0、Coll@2.5/5.0，与非推理及文本推理基线的对比，推理延迟对比，阶段 2 强化学习带来的增益，分支数 \(B\) 与预算 \(K\) 的消融。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1..AX-3 推出换基底）：以潜语言替代自然语言承载 CoT。
• AR-2（由 AX-4 推出动作对齐设计）：动作提案与最终输出共用同一词表，使推理与决策同构。
• AR-3（由 AX-5 推出交错结构）：每个 1 秒动作块后接同一窗口的潜世界状态，使推理表达“该动作会导致什么”。
• AR-4（分支与预算）：以固定 \(B\) 个分支展开反事实，后续分支条件于先前分支以促进多样性。
• AR-5（冷启动监督）：用真值未来跟踪框构造动作条件的 LWM 目标，以教师强制教会模型潜 CoT 的格式与结构。
• AR-6（阶段 2 的强化学习）：以 RL 后训练让模型产出超越模仿冻结模型的有用推理。
• AR-7（经验支撑）：PhysicalAI-AV 上的指标与延迟对比支撑 AR-1..AR-6（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论段自陈两项局限：训练潜 CoT 目前需监督来源（如真值智能体包围盒）以接地表示，规模化时可能难以获得（虽已有自动标注工作在推进）；当前模型无法从潜 CoT token 方便地恢复人类可解释表示（如在车可视化），效率—可解释性谱系的理解是未来方向。

本库评论

• 评测域独立于 NAVSIM 线（承重）：本卡全部指标来自 PhysicalAI-AV 数据集（真实多相机、场景平衡子集），与库内 NAVSIM（BMK-006）的 CPT-017（PDMS）/EPDMS 体系不可比；引用其数值时必须带上数据集与指标名（ADE/OffRoad/Coll），不可并入 NAVSIM 排行榜语境。库内是否就该数据集立 BMK 卡属待裁事项，本卡不擅自准入。
• 与文本 CoT 驾驶条目（如 AutoVLA）的对照：两者都以推理期推理为卖点，但基底不同（文本 vs 动作对齐潜空间）；本卡对文本 CoT 的三条批评（AX-1..AX-3）可直接作为该对照的评价依据。
• “潜世界模型”在此的所指：LWM token 是 ego 中心、由真值跟踪框编码得到的状态表示（训练期），并非生成式未来渲染；与 Drive-JEPA/ Auto-JEPA 的潜预测目标不同，不可因同词归并。
• 接地依赖真值标注：阶段 1 的目标需真值跟踪框重定心后编码，这使该方法并非免标注方法；作者已自陈该局限。
• 不可解释性代价：潜 CoT 换取效率与对齐，但失去文本的可读性——在需要人因审计的场景（如事故复盘）中这是显著代价，论文亦列为未来工作。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 29 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。