FRM-2212.10156 Formalization

0. Overview

UniAD（PPR-2212.10156，Hu 等 2023，CVPR 最佳论文）处理自动驾驶框架的目标一致性。论文的诊断：把感知、预测、规划当作顺序模块化任务、或以多头多任务范式训练，会累积误差且任务协调不足；作者主张框架应围绕终极目标（自车规划）设计并优化，并重审感知与预测中的关键组件、为其排序，使每个任务都对规划有贡献。UniAD 由四个基于 transformer 解码器的感知与预测模块加一个规划器组成，query 是贯穿全链的统一接口：TrackFormer 用检测查询与跟踪查询从 BEV 特征检出并跟踪智能体（另设显式 ego 查询）；MapFormer 以地图查询做地图全景分割；MotionFormer 以 agent—agent、agent—map、agent—目标点三类交互做场景中心的多模联合预测；OccFormer 预测保留实例身份的占用；Planner 以 MotionFormer 的 ego 查询加命令嵌入构成 plan query，注意 BEV 特征后解码为 waypoint，并在推理期用牛顿法按占用图做避碰优化。

本重建覆盖 §3（Methodology：跟踪与建图、运动预测、占用预测、规划）与 §4 结论，版本锚定 arXiv:2212.10156v1。

1. Definitions

入库概念（→ CPT）：

• nuScenes → 候选：主评测集（开环 L2 与碰撞率）。
• BEV 编码器（BEVFormer）→ 候选：论文以现成 BEV 编码器为人所知的接口，并声明不绑定具体实现。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 统一 query 接口：\(Q\) 作为连接各模块、建模场景中实体交互的载体；TrackFormer 产 \(Q_A\)、MapFormer 产 \(Q_M\)，另设一个 ego 查询显式建模自车。
• TrackFormer：检测查询负责首次出现的新智能体，跟踪查询维持已检智能体；跟踪查询与历史查询做自注意力聚合时序信息，直至目标完全消失；\(N\) 层，末层输出 \(N_a\) 个有效智能体。
• MapFormer：以地图查询稀疏表示道路元素，车道/分隔带/人行横道为 things、可行驶区为 stuff；各层输出均受监督，仅末层查询 \(Q_M\) 送入 MotionFormer。
• MotionFormer：每层建模三类交互——agent—agent 与 agent—map 用 \(Q_{a/m}=\text{MHCA}(\text{MHSA}(Q),Q_A/Q_M)\)，agent—goal 用可变形注意力 \(Q_g=\text{DeformAttn}(Q,\hat{\mathbf x}_T^{l-1},B)\)（以上一层预测终点为参考点）；三者拼接经 MLP 得 \(Q_\text{ctx}\)。运动查询 = 上下文 \(Q_\text{ctx}\) + 位置 \(Q_\text{pos}\)，而 \(Q_\text{pos}=\text{MLP}(\text{PE}(I^s))+\text{MLP}(\text{PE}(I^a))+ \text{MLP}(\text{PE}(\hat{\mathbf x}_0))+\text{MLP}(\text{PE}( \hat{\mathbf x}_T^{l-1}))\)，其中 \(I^s\)（场景级锚）与 \(I^a\)（智能体级锚）由真值轨迹端点的 k-means 得到，首层 \(\hat{\mathbf x}_T^0=I^s\)。输出 \(\{\hat{\mathbf x}_{i,k}\in\mathbb R^{T\times2}\}\)（\(N_a\) 个智能体 × \(\mathcal K\) 模态）。
• 训练期非线性目标轨迹优化（CPT-021）：因端到端下上游位置/朝向不精确，暴力回归真值 waypoint 会产出高曲率、高加速度的不现实轨迹；故用非线性平滑器求解 \(\tilde{\mathbf x}^*=\arg\min_\mathbf x c(\mathbf x, \tilde{\mathbf x})\)，成本 \(c=\lambda_\text{xy}\|\mathbf x,\tilde{\mathbf x}\|_2+\lambda_\text{goal}\|\mathbf x_T,\tilde{\mathbf x}_T\|_2+ \sum_{\phi\in\Phi}\phi(\mathbf x)\)，\(\Phi\) 含 jerk、曲率、曲率变化率、加速度与横向加速度五项；仅在训练期进行，不影响推理。
• OccFormer：\(T_o\) 个顺序块（\(T_o\) 通常小于运动预测的 \(T\)）；每块由智能体特征 \(G^t\) 与上一块稠密特征 \(F^{t-1}\) 生成 \(F^t\)；\(G^t=\text{MLP}_t([Q_A,P_A,Q_X])\)，\(Q_X\) 由运动查询在模态维最大池化得到；实例占用由智能体级特征与稠密场景特征矩阵相乘得到，无需重后处理。
• 规划器：把导航信号（左转/右转/直行）转为三个可学习命令嵌入，与 MotionFormer 的 ego 查询构成 plan query，注意 BEV 特征 \(B\) 后解码为 waypoint \(\hat\tau\)；推理期以牛顿法在 multiple-shooting 轨迹中求解 \(\tau^*=\arg\min_\tau f(\tau,\hat\tau,\hat O)\)，\(f=\lambda_\text{coord}\|\tau,\hat\tau\|_2+\lambda_\text{obs}\sum_t \mathcal D(\tau_t,\hat O^t)\)，碰撞项 \(\mathcal D\) 为占位网格上的高斯核求和（\(l_2\) 项把轨迹拉回原预测，碰撞项把其推离占据格）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（模块化/多头范式的缺陷）：独立模型或分离头的多任务范式面临累积误差与任务协调不足。
• AX-2（规划导向）：框架应面向终极目标（自车规划）设计与优化，感知与预测中的每个任务都应服务于规划。
• AX-3（query 作为统一接口）：以可学习 query 承载实体抽象，可跨模块连接并建模交互，从而获得更丰富的表示。
• AX-4（端到端下无真值感知）：不能假设上游给出真值位置与朝向，训练目标须据此调整。
• AX-5（占用须保留实例身份）：将整幅 BEV 压缩进 RNN 隐状态的智能体无关做法，需重度手工聚类后处理且难以全局预测。
• AX-6（无 HD 地图需命令）：无高精地图或预定义路线的规划需要高层命令指示方向。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为方法型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：各任务主表（检测/跟踪/建图/运动/ 占用/规划）、模块必要性的逐项消融（附录 “The Necessity of Each Task”）、规划安全指标。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-2 推出规划导向流水线）：重排并裁剪感知/预测任务，使每个模块都直接服务于规划，并以逐项消融论证其必要性。
• AR-2（由 AX-3 推出统一 query 设计）：以 query 串联五个节点，ego 查询显式建模自车并贯穿至规划。
• AR-3（由 AX-4 推出训练期平滑）：以非线性优化生成满足运动学约束的目标轨迹，仅用于训练。
• AR-4（由 AX-5 推出 OccFormer）：保留实例身份的占用预测，实例占用由矩阵乘直接得到，避免重后处理。
• AR-5（由 AX-6 推出命令条件）：plan query 以命令嵌入为条件。
• AR-6（推理期避碰优化）：以合并后的二值占用图为约束，用牛顿法在 multiple-shooting 轨迹中最小化 \(l_2\) 与碰撞代价之和。
• AR-7（经验支撑）：各任务结果与消融支撑 AR-1..AR-6（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论与局限：协调如此综合的系统需要大量算力（尤其带时序历史训练），轻量化部署与是否纳入深度估计、行为预测等任务留待未来工作。

本库评论

• 与 VAD 的对照轴（去后处理）：UniAD 在推理期保留牛顿法避碰优化，VAD（PPR-2303.12077）则明确以“摆脱手工后处理”为卖点之一并报告更快（其表中 UniAD 延迟 555.6 ms / 1.8 FPS）。两者构成“保留推理期优化”与“去除后处理”的对照，库内比较规划效率时须注明该差异。
• 训练期与推理期各有一处优化：训练期平滑目标轨迹（运动学）与推理期避碰优化（占用），二者都非学习所得，属显式规则/优化介入。
• 承重关系：UniAD 是 NAVSIM 官方基线之一（UniAD baseline），NAVSIM 线多篇方法的对照表都列出其分数；引用时应把它记为基线而非同代改进。
• ego 查询的贯穿设计：自车由 query 显式建模并随流水线下行，是该体系与“按命令分支”设计的结构性差异。
• 评测域：nuScenes 开环为主，与 NAVSIM（BMK-006）口径不可比。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 14 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。