FRM-2512.07745 Formalization

0. Overview

DiffusionDriveV2（PPR-2512.07745，Zou 等 2026）承接 DiffusionDrive（PPR-2411.15139），处理模仿学习下截断扩散生成器的多样性与一致高质量的两难。论文的诊断：DiffusionDrive 用高斯混合模型（GMM）锚先验保多模，但其训练目标（在整个混合分布上最大化专家轨迹似然）在实践中被简化为只优化最接近专家的那一个正模式，负模式没有任何显式约束；结果模型在产出高质量轨迹的同时也产出大量无约束、低质量甚至碰撞的轨迹，把过滤压力推给参数更少的下游选择器。论文的回应是把强化学习接入去噪链：把每个条件去噪步视为高斯策略（MDP），用探索-约束范式对所有模式施加目标对齐约束（抬高下界）并推动探索更优策略（抬高上界）。针对锚定截断扩散的特殊性，论文提出锚内 GRPO（组优势估计限定在同一锚内，阻断跨意图比较）与锚间截断 GRPO（负优势归零、碰撞罚常量，保留全局视角），并以尺度自适应乘性噪声替代加性噪声做探索。

本重建覆盖 Abstract、§1（Introduction）、§3（Preliminary）、§4（Method）与 §6（Conclusion）及 §5 的实验结构，版本锚定 arXiv:2512.07745v1。阅读顺序：§1 术语绑定与论文内定义；§2 作者前提（AX-1..4）；§3/§4 骨架阶段占位；§5 论证；§6 分节评论；§7 追溯表；末尾 G1 状态。

1. Definitions

入库概念（→ CPT）：

• PDMS → CPT-017：NAVSIM v1 评估口径。
• 轨迹（trajectory） \(\tau=\{(x_n,y_n)\}_{n=1}^{N_f}\)：\(N_f\) 个未来 waypoint 的序列（论文 Preliminary 定义，与 PPR-2411.15139 同形）。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 截断扩散生成器（truncated diffusion generator）：以 DiffusionDrive 预训练权重冷启动、从锚定高斯分布出发迭代 \(N_\text{infer}\) 步精化的生成器。
• GMM 轨迹分布：\(p(\tau\mid z)=\sum_k s(\mathbf a^k\mid z) p(\tau^k\mid\mathbf a^k,z)\)，其中 \(p(\tau^k\mid\mathbf a^k,z)=\mathcal N(\tau^k\mid\mathbf a^k+ \mu^k(z),\Sigma^k(z))\)，\(s(\mathbf a^k\mid z)\) 为选择该驾驶意图的混合权重。
• 去噪链策略（denoising policy）：\(\pi_\theta(\tau_{t-1}^k\mid\tau_t^k,z,\mathbf a^k)=\mathcal N(\tau_{t-1}^k; \mu_\theta(\tau_t^k,t,z,\mathbf a^k),\eta(1-\alpha_t)I)\)；训练取 \(\eta=1\)（DDPM 式随机采样）、验证取 \(\eta=0\)（DDIM 式确定性）。
• 尺度自适应乘性探索噪声：\(\tau'=(1+\epsilon_\text{mul})\tau\)，\(\epsilon_\text{mul}=(\epsilon_\text{long},\epsilon_\text{lat})\)，只含一个纵向与一个横向乘性高斯噪声。
• 组相对优势（group-relative advantage）：\(A^{k,i}=(r^{k,i}-\operatorname{mean}\{r^{k,1},\dots,r^{k,G}\})/ \operatorname{std}\{r^{k,1},\dots,r^{k,G}\}\)，奖励 \(r^{k,i}=R(\tau_0^{k,i})\) 由最终干净轨迹给出、应用于整条去噪链并按去噪折扣 \(\gamma_{t-1}\) 缩放。
• 锚内 GRPO（Intra-Anchor GRPO）：在同一锚内生成 \(G\) 条轨迹变体并做组相对优势更新，\(L_{RL}=-\frac1{N_\text{anchor}}\sum_k\frac1G \sum_i\frac1{T_\text{trunc}}\sum_t\gamma_{t-1}\log\pi_\theta (\tau_{t-1}^{k,i}\mid\tau_t^{k,i})A^{k,i}\)。
• 锚间截断 GRPO（Inter-Anchor Truncated GRPO）：\(A_\text{trunc}^{k,i}=-1\) 若碰撞，否则 \(\max(0,A^{k,i})\)；替换上式中的 \(A^{k,i}\)。
• 训练目标：\(L=L_{RL}+\lambda L_{IL}\)，\(L_{IL}\) 为模仿损失正则。
• 模式选择器（mode selector）：两阶段粗到细打分（粗选 top-\(k\)、再精排），以 BCE 与 Margin-Rank 损失 \(\mathcal L_\text{rank}=\frac1N\sum_{i,j}\max(0,-\operatorname{sign} (s_i-s_j)(\hat s_i-\hat s_j)+m)\) 训练。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（IL 的单正模式约束）：每场景只有一条 GT 轨迹，训练必须选一个锚作正模式，负模式因此无显式约束——这是 IL 范式下截断扩散的固有限制，也解释其产出低质量负模式。这是论文的核心前提。
• AX-2（意图不可比）：不同锚代表根本不同的驾驶意图（左转 vs 直行），不应在同一优化组内直接比较优劣；跨意图比较会导致模式坍缩。
• AX-3（全局可比性必要但须截断）：完全隔离各模式的优势估计会失去全局可比性（某模式内的“最好”可能是绝对危险），因此需要全局视角，但只奖励相对改进、只惩罚绝对失败。
• AX-4（轨迹尺度不一致）：轨迹近端与远端尺度不一致，逐点加性高斯噪声会破坏结构完整性、使探索轨迹呈折线。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。可推导成分主要是构造等价（如 \(\eta=0\) 时去噪链退化为确定性 DDIM 采样、\(\eta=1\) 时为随机策略，故策略梯度可写）。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：NAVSIM v1 表、NAVSIM v2 表、多样性-质量权衡图/表、探索噪声对比图（加性 vs 乘性）、消融（锚内/锚间 GRPO、各损失项）。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（困境诊断）：GMM 锚先验保多模，但 IL 训练只约束最近锚的正模式（AX-1），负模式（占样本大多数）无约束 → 高质量与碰撞轨迹并存；过滤依赖参数更少的选择器，OOD 下易失效。
• AR-2（RL 的适用性）：RL 的探索-约束范式可对所有模式施加约束（抬高下界）并探索超越专家（抬高上界）；把条件去噪链视为 MDP 的高斯策略后，可用策略梯度（REINFORCE / GRPO）更新，承接 DPPO。
• AR-3（由 AX-2 推出锚内 GRPO）：以单锚内的 \(G\) 个样本为 group 做组相对优势，把策略优化限制在该意图的状态空间内，避免跨意图比较。
• AR-4（由 AX-3 推出锚间截断 GRPO）：把负优势截断为零、碰撞罚 \(-1\)，得到“只奖励相对改进、只惩罚绝对失败”的全局信号，修正纯局部比较的误导。
• AR-5（由 AX-4 推出乘性噪声）：用一对纵向/横向乘性高斯噪声替代逐点加性噪声，保持探索轨迹的平滑与一致。
• AR-6（选择器与正则）：以两阶段粗到细打分器选优轨迹（BCE + Margin-Rank），并以模仿损失作正则防止 RL 过拟合、保住通用驾驶能力。
• AR-7（经验支撑）：NAVSIM v1/v2 上的分数与多样性-质量权衡对照支撑 AR-1..AR-6（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论段：锚内 GRPO + 锚间截断 GRPO + 尺度自适应乘性噪声一起解决了 DiffusionDrive 由 IL 不完整多模监督造成的多样性-质量两难，取得一致高质量与模式多样性的最佳权衡。
• 作者自陈“首个直接面对该两难并给出方案”与“首个把 GRPO 迁移到截断扩散模型”——属作者自述，需文献级核对。
• 作者指出负模式占样本大多数却无监督，是系统级安全隐患的关键机制。

本库评论

• 数值口径分歧（留档）：论文自报 NAVSIM v2 EPDMS 85.5；库内 DA-WAM（PPR-2608.19085）对照表记为 87.5。两者必有一个口径不同（子集、骨干或版本）；在 scope 对齐前不得引用任一为权威值。
• 对照非同骨干：论文自报 91.2 PDMS 用对齐 ResNet-34，并与更大骨干（V2-99）的 GoalFlow/Hydra-MDP 比较；跨骨干比较不是同条件对照。
• 冷启动依赖：生成器以 DiffusionDrive 的 IL 预训练权重初始化，改进量应理解为在已有生成器上的 RL 后训练收益，非从零训练。
• 评测域：仅 NAVSIM v1/v2（非反应式）；无 nuScenes 实验（闭环读法见 DIS-003）。
• 未核对项：\(G\)、\(\lambda\)、\(m\)、去噪折扣 \(\gamma\) 的具体取值与多种子方差未在本骨架核对，P3 需回源。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 升级批次，NAVSIM 线第 3 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。