CPT-016
Concept
Miss Rate (MR)
| id | |
|---|---|
| updated | |
| type | concept |
| name | Miss Rate (MR) |
| aliases | miss rate, MR, planner miss rate |
| defined-by | COD-001, PPR-2106.11810 |
Definition
nuPlan devkit 的 miss 判定（PlannerMissRateStatistics）：场景在 horizon \(h\) 内 max displacement error（逐帧位移误差的最大值，复用 ADE 指标缓存的 maximum_displacement_errors）超过该档阈值即 miss：
\[\mathrm{miss}_h \;=\; \mathbb{1}\!\left[\max_{t\in\mathcal{F}_h}
\left\lVert p^{\mathrm{plan}}_t - p^{\mathrm{expert}}_t \right\rVert_2
> \tau_h\right],\qquad
\mathrm{MR}(h) \;=\; \frac{1}{|\mathcal{S}|}\sum_{s\in\mathcal{S}}
\mathrm{miss}_{s,h}\]
默认配置：\(h\in\{3,5,8\}\,\mathrm{s}\) 对应 \(\tau_h\in\{6,8,16\}\,\mathrm{m}\)；\(\mathcal{S}\) 为场景集。MR 是场景级二值判定的批间比率，不是逐帧量。
Disambiguation
- max ≠ final：预测文献的 miss rate 通常以 FDE（终点）判 miss；nuPlan 以时域内最大位移误差判定（更严——中途偏离即 miss）。跨文献比较必须核对判定统计量。
- 打分：
PlannerMissRateStatistics.compute_score输出布尔——\(\mathrm{MR}\le 0.3\) 记 1，否则 0（默认max_miss_rate_threshold=0.3）。闭环总分中若被消费即以此 0/1 进入加权平均（default 权重 1.0）。 - ADE/FDE 的 8m 打分阈值（CPT-014/015）与 miss 的 6/8/16m 判定阈值是两组不同常数，勿混用。
Referents
关联（8）
- PPR-2106.11810 nuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles
- BMK-003 “nuPlan closed-loop planning benchmark (Val14 / Test14 / Test14-hard)”
- COD-001 nuplan-devkit — nuPlan 官方开发套件（数据集/闭环模拟/指标实现）
- CPT-014 Average Displacement Error (ADE)
- CPT-015 Final Displacement Error (FDE)
- CPT-014 co-definer Average Displacement Error (ADE)
- CPT-015 co-definer Final Displacement Error (FDE)
- CPT-018 co-definer Intervention