Research KB 登录

CPT-029 Concept

DPM-Solver

id
type concept
name DPM-Solver
aliases DPM-Solver-1, DPM-Solver-2, DPM-Solver-3, exponential integrator for diffusion ODEs
defined-by PPR-2206.00927
updated

Definition

DPM-Solver 是针对扩散概率模型采样的免训练专用高阶 ODE 求解器族，作用对象是参数化扩散 ODE（probability-flow ODE）

\[\frac{\mathrm d\mathbf x_t}{\mathrm dt} = f(t)\mathbf x_t + \frac{g^2(t)}{2\sigma_t}\epsilon_\theta(\mathbf x_t,t),\]

其中 \(\alpha_t,\sigma_t\) 为噪声调度，\(f,g\) 由调度确定，\(\epsilon_\theta\) 为噪声预测网络。其构造分三步：（i）用半线性结构——右端第一项对 \(\mathbf x_t\) 线性、网络项非线性，故用变易常数公式把线性项解析积出；（ii）换元到对数信噪比 \(\lambda_t := \log(\alpha_t/\sigma_t)\)（随 \(t\) 严格递减），把解化为网络项的指数加权积分

\[\mathbf x_t = \frac{\alpha_t}{\alpha_s}\mathbf x_s - \alpha_t \int_{\lambda_s}^{\lambda_t} e^{-\lambda}\,\hat\epsilon_\theta(\hat{\mathbf x}_\lambda,\lambda)\,\mathrm d\lambda ;\]

（iii）泰勒展开——在每步内把 \(\hat\epsilon_\theta\) 关于 \(\lambda\) 展开，各阶积分 \(\int e^{-\lambda}\frac{(\lambda-\lambda_{t_{i-1}})^n}{n!}\mathrm d\lambda\) 由分部积分解析求出，仅余各阶全导数用指数积分器文献的 stiff order conditions 估计，得到 \(k\) 阶求解器 DPM-Solver-\(k\)（论文给出 \(k\le 3\)）。一阶更新与 DDIM 逐步完全相同：

\[\tilde{\mathbf x}_{t_i} = \frac{\alpha_{t_i}}{\alpha_{t_{i-1}}}\tilde{\mathbf x}_{t_{i-1}} - \sigma_{t_i}\bigl(e^{h_i}-1\bigr)\epsilon_\theta(\tilde{\mathbf x}_{t_{i-1}},t_{i-1}),\quad h_i=\lambda_{t_i}-\lambda_{t_{i-1}} .\]

它是免训练的：不改网络权重，对离散时间与连续时间 DPM 均可直接使用；离散时间模型经 \(\epsilon_\theta(\mathbf x,t):=\tilde\epsilon_\theta(\mathbf x,(N-1)t)\) 接入；默认时间步在 \(\lambda\) 上均匀划分（线性与余弦调度的 \(\lambda\) 及其逆有解析式）；典型预算为 10–20 次函数求值。

Disambiguation

  • 与 DPM-Solver++（CPT-030）：后者是同一“精确解 + 泰勒展开”框架下的变体，但改以数据预测模型 \(\mathbf x_\theta\) 参数化（线性项与积分核都不同：\(e^{\lambda}\mathbf x_\theta\) vs \(e^{-\lambda}\epsilon_\theta\)），并额外引入阈值化与多步形式，面向大引导尺度的引导采样；本卡对应噪声预测参数化的原始形式。
  • 与 DDIM：DDIM 是本族的一阶特例（更新式逐步相同）——论文由此解释 DDIM 优于一阶 Euler 离散的原因（同样利用了半线性结构），差别在于本族给出系统性的高阶推广与收敛阶分析。DDIM（Song 等，2020）本库未入库，无 ID 锚点。
  • 与通用黑盒 ODE 求解器（RK45 等）：黑盒求解器把线性项与网络项一并离散，不利用半线性结构，线性部分也带离散误差；论文实测其在小步数区（约 10 步）不收敛，约需 60 次函数求值才达到 1000 步 SDE 求解器的质量。
  • 与扩散 SDE 求解器：本族解的是确定性扩散 ODE；对扩散 SDE 的高阶求解器（其数据预测版本）见 CPT-030 的 SDE 分支。DDPM 的祖先采样可视为反向 SDE 的一阶求解器，二者步长受限的原因不同（SDE 受 Wiener 过程随机性限制，ODE 无此限制）。

关联（12）

  • PPR-2105.05233 Diffusion Models Beat GANs on Image Synthesis
  • PPR-2206.00927 DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps
  • PPR-2211.01095 DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models
  • PPR-2501.15564 Diffusion-Based Planning for Autonomous Driving with Flexible Guidance
  • PPR-2606.26017 G2DP: Diffusion Planning with Spatio-Temporal Grid Guidance
  • FRM-2501.15564 Diffusion Planner 五层重建：task redefinition 后的 ego+邻车联合轨迹生成（DiT 骨干、单一扩散损失）与 DPS 免训练 classifier guidance；断言投影 CLM-033..038（一份投影卡因 erratum 删除）。附录 C 的四个引导能量函数（式 10–13）与四条设计经验已公式化回填，供 G2DP 稀疏对比臂跨源引用。
  • FRM-2606.26017 G2DP 五层重建：核心对象是 CPT-013 时空代价体（占据概率栅格 × 路线进度图融合）在推理期的可微引导；公理层为能量重加权目标分布、Top-K 车体聚合与末段注入等六个作者前提；论证主干是 Table 4 在同一 DiT 骨干下隔离『稠密网格 vs 稀疏实例』的引导模态消融（稀疏臂按 PPR-2501.15564 附录 C 实现、以 oracle 邻车供给）。
  • CLM-032 稠密网格引导是纯推理期模块：占据预测器与生成骨干分开训练、仅在推理耦合，不重训不改骨干即可注入解析梯度，且部分替代事后规则精修（作者推断）。
  • EVI-028 Fig. 8：steps 8–9 + lambda_t=0.5 峰值 77.61；早窗与 lambda_t≥0.8 均退化。
  • EVI-036 Fig. 7：低温度采样增强轨迹稳定性、步数在 DPM-Solver++（CPT-030）下稳健；w/ refine. 用更低温度（0.1 vs 0.5）以利精修判断——方法使用边界面，非引导窗口消融。
  • CPT-013 spatio-temporal cost volume
  • CPT-030 DPM-Solver++