Research KB 登录

FRM-2408.03601 Formalization

DRAMA 五层重建(骨架):核心对象是把 Mamba(状态空间模型)引入端到端运动规划——编码器用多尺度卷积与四个 Mamba 融合模块替代 Transformer 自注意力来融合相机与 LiDAR BEV 特征(训练复杂度由 T²D 降为 TD²),解码器用可学的 Mamba-Transformer 层输出确定性轨迹,并以差异化 dropout 率作用的特征状态丢弃(FSD)缓解传感噪声与 ego 状态缺失;公理层含『自注意力对序列长度二次复杂』与『传感/导航输入本就不完美』。

id
type formalization
formalizes PPR-2408.03601
updated

0. Overview

DRAMA(PPR-2408.03601,Duan 等 2025)提出首个基于 Mamba 的端到端运动规划器。论文的动因:运动规划需在高度动态复杂环境中生成安全可行轨迹,而传统 transformer 方法的自注意力对序列长度是二次复杂度,难以应对日益复杂的场景。DRAMA 在特征空间融合相机、LiDAR BEV 与 ego 状态生成未来轨迹:编码器沿用既有融合架构但用多尺度卷积提取多尺度场景信息、以 Mamba 融合模块(Mamba-2)替代自注意力完成模态融合;解码器采用特征状态丢弃(feature state dropout, FSD)与 Mamba-Transformer 解码层(3 层,可学查询 + 编码器输出)输出确定性轨迹。FSD 以差异化 dropout 率作用于融合特征与 ego 状态,缓解传感噪声与导航指令缺失的影响。论文报告在 NAVSIM 公共测试集上优于 Transfuser 基线且参数更少、算力更低。

本重建覆盖 Abstract 与 §3(Our Method:Mamba 预置、Mamba 融合、Mamba-Transformer、多尺度卷积、特征状态丢弃),版本锚定 arXiv:2408.03601v2。

1. Definitions

入库概念(→ CPT)

  • PDMS → CPT-017:NAVSIM 评估口径(论文报告 PDM 分数)。

论文内定义(未入库概念,标 CANDIDATE,不新建 CPT)

  • 结构化状态空间模型(S4/SSM)\(h'(t)=\mathbf A h(t)+\mathbf B x(t)\)\(y(t)=\mathbf C h(t)\);经可学步长 \(\Delta\) 与零阶保持离散化为 \(h_t=\overline{\mathbf A}h_{t-1}+\overline{\mathbf B}x_t\)\(y_t=\mathbf C h_t\);展开得 \(y_t=\sum_{s=0}^t C_t^\top A^\times_{t:s}B_s x_s\),即 \(y=\text{SSM}(A,B,C)(x)=Mx\),其中 \(M_{ji}:=C_j^\top A_j\cdots A_{i+1}B_i\)
  • SSM 与 SSS 等价:下三角变换矩阵 \(M\) 满足 \(N\)-sequentially semiseparable(SSS)表示,故可用结构化矩阵乘法实现(对角块 + 低秩块,对应 SMA 的二次与线性两种模式),并用多头注意力增强。
  • Mamba 融合模块:沿用既有 Transformer 融合的拼接—投影流程 \(\text{Fusion}=\text{softmax}(QK^\top/\sqrt{D_k})V\),但以 Mamba-2 取代 Transformer 处理融合特征;复杂度由 \(\Omega(\text{self-attention}) =T^2D\) 降为 \(\Omega(\text{SSD})=TD^2\)(设头维 \(P\) 等于状态维 \(D\))。模型共四个 Mamba 融合模块。
  • 多尺度卷积:在编码器中对裁剪后的多视图相机与 LiDAR BEV 图像做多尺度卷积,以跨尺度利用场景信息。
  • Mamba-Transformer(MT)解码层:在原生 Transformer 解码器内以可学查询与编码器输出为输入,经 3 层 MT 输出未来轨迹;论文称该模块可通用替换任意基于 Transformer 模型的解码器,尤其适合长序列输入。
  • 特征状态丢弃(FSD):先对待编码特征加可学位置嵌入,再以差异化 dropout 率分别掩蔽融合特征与 ego 状态;动机是传感与感知本不完美,且导航命令可能缺失或次优,模型需在无显式引导下仍能推理。消融显示融合 dropout 0.1、状态 dropout 0.5 的组合最优。

2. Axioms(作者公理:论文接受而未证明的前提)

  • AX-1(规划的环境要求):运动规划需在高度动态、复杂环境中生成安全可行轨迹,是自动驾驶的核心能力。
  • AX-2(自注意力的复杂度代价):基于 Transformer 的方法,其自注意力对序列长度呈二次复杂度,难以应对日益复杂的场景。
  • AX-3(输入本就不完美):受硬件限制与噪声,观测/感知可能不准;导航命令可能缺失;复杂交通下人工指令也可能次优——模型须具备在缺乏显式引导时的推理能力。
  • AX-4(掩蔽特征可提升性能):既有工作已证掩蔽部分图像与车辆状态特征可提升自监督任务与运动规划的表现。
  • AX-5(SSM 可实现高效计算):SSM 与 SSS 表示等价,故可用结构化矩阵乘法高效计算状态空间模型。

3. Theorems(作者可推导命题;本层薄)

骨架阶段占位。本文为方法型,未提出独立命题层。P3 投影时若识别出值得保留的定性命题,再实体化为 CLM 并回填 ID。

4. Evidence(实证 → CLM/EVI 映射)

骨架阶段占位(待 P3)。可用观察锚点:NAVSIM 公共测试集上的 PDM 对比(文中:基线 0.8347、最佳 0.8548)、FSD 不同 dropout 率的消融(0.1/0.5 组合最优,0.848)、参数与训练/推理开销对比。均为论文自报,无库内 EVI/VER。

5. Argument(论证结构)

  • AR-1(由 AX-2 + AX-5 推出 Mamba 融合):以 Mamba-2 替代融合中的自注意力,把训练复杂度从 \(T^2D\) 降到 \(TD^2\)
  • AR-2(多尺度建模):以多尺度卷积在编码器捕捉跨尺度场景信息。
  • AR-3(解码器替换):MT 层以自注意力 + SSM 的组合解码轨迹,并声明可通用替换既有 Transformer 解码器。
  • AR-4(由 AX-3 + AX-4 推出 FSD):以差异化 dropout 掩蔽融合特征与 ego 状态,提升对噪声传感与缺失状态的鲁棒性,且不增加训练/推理时间。
  • AR-5(经验支撑):NAVSIM 公共测试集结果、FSD 消融与开销对比支撑 AR-1..AR-4(属 Evidence,非证明)。

6. Commentary

作者评论

  • 讨论与结论段:多尺度卷积虽拖慢训练效率但不影响验证速度;作者称 Mamba 融合与 MT 解码器可推广到其他模型。

本库评论

  • 评测口径须特别注明(承重):论文自陈“NAVSIM Leaderboard 暂时关闭”,故改用公共测试集评估,并自报基线 Transfuser 在该集为 0.8347(而其在榜单上为 0.8483)。这意味着本卡的数字不可与库内其他引用榜单分数的条目直接并列;引用 DRAMA 分数时必须带上“公共测试集”口径,否则构成跨口径混用。
  • 确定性轨迹输出:DRAMA 输出单条确定性轨迹,与同批的选择式(VADv2/GTRS/SparseDriveV2)与生成式(DiffusionDrive/GoalFlow)路线分属不同输出范式,比较时不可只比分数。
  • 复杂度论证的边界\(TD^2\)\(T^2D\) 的比较是渐近训练成本;论文的效率主张建立在 \(P=D\) 的假设上,实际头维与状态维不等时该式不成立。
  • FSD 与鲁棒性主张:FSD 的增益来自掩蔽,本质是训练期正则;其收益幅度(0.8347→0.848)与 dropout 率强相关,不宜外推为通用结论。
  • 与 TransFuser 的关系:DRAMA 直接继承 TransFuser 的融合与编码器设计(引用 PPR-2205.15997),其贡献应表述为在既有架构上的模块替换与新增正则,而非新框架。

7. Traceability

原文位置 层元素
Abstract AX-1、AX-2、AR-1、AR-3、AR-4
§3.1 Mamba Preliminaries(式 1–5) AX-5、Definition(SSM、SSS 等价)
§3.1 Mamba Fusion(式 6–8) AX-2、AX-5、Definition(Mamba 融合、复杂度)、AR-1
§3.1 Mamba-Transformer Definition(MT 解码层)、AR-3
§3 编码器(多尺度卷积) Definition(多尺度卷积)、AR-2
§3 Feature State Dropout AX-3、AX-4、Definition(FSD)、AR-4
§4 实验(NAVSIM、FSD 消融、开销) AR-5 的经验支撑
§5 讨论与结论 作者评论(含榜单关闭说明)

Review Log

  • 2026-09-14 骨架起草(Tier-1 展开批次,第 17 篇)。G1 忠实度审核待人工签发(DA7)。G1 未过,P3 不得开始。

关联(3)

  • PPR-2205.15997 TransFuser: Imitation With Transformer-Based Sensor Fusion for Autonomous Driving
  • PPR-2408.03601 DRAMA: An Efficient End-to-end Motion Planner for Autonomous Driving with Mamba
  • CPT-017 PDM Score (PDMS)