FRM-2607.29031 Formalization

0. Overview

Auto-JEPA（PPR-2607.29031，Yang 等 2026）处理世界模型该预测什么。论文的主张：既有的自动驾驶世界模型通常对未来视频、占据状态、BEV 表示或智能体运动做稠密预测，但规划并不需要重建完整的未来世界，只需关注影响未来自车动作的场景特征。据此提出 Auto-JEPA——一个动作导向的潜世界模型，通过联合嵌入预测学习连续的未来驾驶意图：给定视觉观测、ego 运动史与导航命令，预测一个与未来 ego 轨迹的潜表示对齐的意图嵌入；该意图用于从固定轨迹记忆中检索可执行轨迹，再由场景条件候选选择模块排序。Auto-JEPA 保持视觉编码器冻结、不需要显式感知标注、也不使用学得的轨迹生成器，只优化轨迹表示、意图预测与候选选择这三类任务相关模块。论文报告 NAVSIM v1 达 91.3 PDMS、v2 达 89.1 EPDMS，并以语义遮挡实验说明未来意图预测促使模型聚焦于与规划相关的视觉特征。

本重建覆盖 Abstract 与 §3（Method：Overview、未来 ego 运动意图表示、视觉意图预测、联合嵌入训练目标、非参数轨迹检索、场景打分与可行性门控），版本锚定 arXiv:2607.29031v1。

1. Definitions

入库概念（→ CPT）：

• PDMS → CPT-017（v1）与 EPDMS（v2，见 BMK-006）。
• NAVSIM → BMK-006。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 未来 ego 运动意图表示（两阶段学习）：先把真值未来轨迹 \(\mathbf Y\in\mathbb R^{8\times2}\) 经轨迹自编码器处理——\(\mathbf Z^+=E_\text{traj}(\mathbf Y)\in\mathbb R^{8\times1024}\)、\(\hat{\mathbf Y}=D_\text{traj}(\mathbf Z^+)\)，以 \(\mathcal L_\text{traj}=\mathcal L_\text{xy}+\lambda_e \mathcal L_\text{end}+\lambda_v\mathcal L_\text{vel}+ \lambda_a\mathcal L_\text{acc}\)（坐标、终点、速度、加速度四项）训练；随后丢弃解码器、冻结 \(E_\text{traj}\)，该冻结编码器既定义意图预测的目标潜 \(\mathbf Z^+\)，也对检索记忆中的每条轨迹编码——使预测目标与检索候选处于同一潜空间。8 个潜 token 保留轨迹的时间、几何与运动信息，共同描述一个连续的未来实现（而非八个动作类别），论文称之为驾驶意图。
• 视觉意图预测：输入 \(\mathbf X=(\mathbf I,\mathbf H,\mathbf C)\)（4 帧前视历史图像、4 个历史 ego 位置、4 维路线命令）；冻结的 V-JEPA 2 视觉编码器 \(E_\text{vis}\) 抽视觉 token \(\mathbf F_v\)，历史与命令编码器 \(E_\text{hist}\)、\(E_\text{cmd}\) 分别得 \(\mathbf F_h\)、\(\mathbf F_c\)；三者条件化一个 JEPA 预测器 \(P_\theta\)（24 层 transformer、隐维 1024、16 头），输出 \(\hat{\mathbf Z}=P_\theta(\mathbf F_v, \mathbf F_h,\mathbf F_c)\in\mathbb R^{8\times1024}\)，其时间组织与特征维与 \(\mathbf Z^+\) 对齐。训练时视觉编码器冻结，仅优化历史编码器、命令编码器与预测器。
• 联合嵌入训练目标：不用 ADE/FDE 直接监督 waypoint 坐标，而在冻结轨迹潜空间中优化——特征对齐（归一化后 Smooth L1 于特征值）、token 级余弦对齐、以及批级 InfoNCE。
• 非参数轨迹检索与门控：推理时用预测意图从记忆（仅由真值轨迹构成）中检索最相似的 300 条轨迹；场景条件打分器排序候选质量；一个学得的可行驶区门控过滤违反可行驶区的提案。四件事——意图预测、轨迹实例化、质量排序、可行性过滤——被显式分离。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（规划不需完整未来）：规划不必重建完整未来世界，只需聚焦影响未来自车动作的场景特征。
• AX-2（意图可经联合嵌入学到）：连续的未来 ego 运动意图可通过与未来轨迹潜表示的联合嵌入预测学到。
• AX-3（同空间假设）：预测目标与检索候选必须处于同一潜空间，故监督与记忆构造应共用同一（冻结的）轨迹编码器。
• AX-4（最小学习面）：保持视觉编码器冻结、不用显式感知标注、不用学得的轨迹生成器，仅优化任务相关模块即可达到高质量规划。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为方法型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：NAVSIM v1 91.3 PDMS / v2 89.1 EPDMS；语义遮挡实验——掩蔽动态智能体区域引起的平均意图变化是等面积随机掩蔽的 2.97 倍，且遮挡影响未来驾驶的车辆会显著改变意图与所选轨迹、遮挡无影响车辆则两者基本不变。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1 推出预测目标）：不预测观测、占据、BEV 或智能体运动，而预测对齐未来轨迹潜表示的连续意图。
• AR-2（由 AX-2 + AX-3 推出两阶段设计）：先以轨迹自编码器学目标空间、冻结编码器，再让预测器与之对齐，并复用同一编码器构造检索记忆。
• AR-3（由 AX-4 推出最小学习面）：只训练历史/命令编码器、预测器、打分器与门控。
• AR-4（流程解耦）：把意图预测、轨迹实例化（检索）、质量排序与可行性过滤分离开，各由独立模块承担。
• AR-5（机制证据）：遮挡实验表明意图预测确实驱使模型关注规划相关视觉区域，而不仅是拟合轨迹分布。
• AR-6（经验支撑）：NAVSIM 结果与遮挡实验支撑 AR-1..AR-5（属 Evidence，非证明）。

6. Commentary

作者评论

• 论文以“规划只需关注影响未来动作的特征”为立场，主张无需稠密未来世界建模即可支撑高质量规划；遮挡实验被用来支持该立场。

本库评论

• 与 Drive-JEPA 的轴差异（承重）：两文都建立在 V-JEPA 2 之上，但 Drive-JEPA（PPR-2601.22032）预测未来视觉潜表示，Auto-JEPA 预测未来轨迹的潜表示（意图）——预测目标不同，不能因共用预训练编码器而归为同类；引用时应按预测目标分轴。
• 非参数检索的取证含义：轨迹候选全部来自真值轨迹记忆、且无学得生成器，意味着其性能上限受记忆覆盖约束；跨数据集迁移时该约束会直接体现，论文未做跨数据集检索覆盖分析。
• 冻结视觉编码器：视觉能力完全继承 V-JEPA 2，方法贡献限于意图空间与选择流程，引用时不应把视觉能力计入其贡献（与 PRIX 冻结 Transfuser 骨干的情形同类）。
• 遮挡实验是本库少见的机制性证据：其结论（动态区域掩蔽的意图变化约为随机掩蔽的 2.97 倍）是关于“学到了什么”的直接观测，可支撑库内关于“模型是否真正使用感知”的讨论（与 PPR-2312.03031 的诊断相互呼应，但方法与域不同）。
• 评测域：NAVSIM v1/v2（非反应式）。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 26 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。