PPR-2212.09748
Paper
Scalable Diffusion Models with Transformers
| id | |
|---|---|
| updated | |
| type | paper |
| title | Scalable Diffusion Models with Transformers |
| alias | DiT, Diffusion Transformer |
| authors | William Peebles, Saining Xie |
| venue | ICCV 2023 (Oral); arXiv Dec 2022 |
| arxiv | 2212.09748 |
| version | arXiv:2212.09748v2 |
| source-hash | sha256:708ccde1907e7b5df148c57f4eca9a288acbba2f143ebbcd4cfcf687c8bc0148 |
| tier | 1 |
| lifecycle | FORMALIZED |
| epistemic | n/a |
| ingested | 2026-09-02 |
| admitted-under | A2-direct-edge |
| admission-note | G2DP 的轨迹生成主干(DiT) |
| local-formalization | ./FRM-2212.09748.md |
DiT 原始论文:以标准 ViT 架构替换 latent diffusion(CPT-006)的 U-Net backbone,并以 Gflops 为复杂度透镜系统研究其 scaling 性质。本库首个入库的 Tier-1 全管线素材。
与 G2DP 的关系(PPR-2606.26017):G2DP 引用本工作(DiT)作为其轨迹生成的主干(decoder)。在 G2DP 框架中,DiT 负责条件扩散式的轨迹 token 生成,占据网格引导(grid-guided)则在此生成之上叠加;因此本卡既是 FRM-2212.09748 的形式化对象,也是 G2DP 引用簇里被 G2DP 直接引用的节点。
关联(51)
- PPR-1709.07871 FiLM: Visual Reasoning with a General Conditioning Layer
- PPR-2112.10752 High-Resolution Image Synthesis with Latent Diffusion Models
- PPR-2205.09991 Planning with Diffusion for Flexible Behavior Synthesis
- PPR-2510.11690 Diffusion Transformers with Representation Autoencoders
- PPR-2605.12964 Asymmetric Flow Models
- PPR-2606.26017 G2DP: Diffusion Planning with Spatio-Temporal Grid Guidance
- BMK-004 ImageNet class-conditional generation (256×256 / 512×512)
- FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
- FRM-2501.15564 Diffusion Planner 五层重建:task redefinition 后的 ego+邻车联合轨迹生成(DiT 骨干、单一扩散损失)与 DPS 免训练 classifier guidance;断言投影 CLM-033..038(一份投影卡因 erratum 删除)。附录 C 的四个引导能量函数(式 10–13)与四条设计经验已公式化回填,供 G2DP 稀疏对比臂跨源引用。
- FRM-2605.12964 AsymFlow 五层重建:不对称速度目标 Pε−x0 与解析恢复 → 端点归约(r=0/正负号 x0-pred,r=D u-pred)→ Procrustes lift 的轨迹耦合定理 → 方差缩减微调损失(control variates + LPIPS 门控);断言投影待 G1 签发后进行。
- FRM-2606.26017 G2DP 五层重建:核心对象是 CPT-013 时空代价体(占据概率栅格 × 路线进度图融合)在推理期的可微引导;公理层为能量重加权目标分布、Top-K 车体聚合与末段注入等六个作者前提;论证主干是 Table 4 在同一 DiT 骨干下隔离『稠密网格 vs 稀疏实例』的引导模态消融(稀疏臂按 PPR-2501.15564 附录 C 实现、以 oracle 邻车供给)。
- CLM-002 同配置同预算下,条件注入机制的选择对生成质量有决定性影响:adaLN-Zero 调制式注入同时最优质量与最低计算开销,优于 cross-attention 与 in-context。
- CLM-003 模型前向 Gflops(而非参数量)主导 DiT 质量:Gflops 相近则 FID 相近,且与 FID-50K 强负相关。
- CLM-005 采样算力不能补偿模型算力:DiT 族内小模型即使以数倍单图采样算力生成,FID 仍劣于大模型的低步数采样(锚点数字见 EVI-005)。
- CLM-006 等量总训练算力下大模型更 compute-efficient;仅改 patch size 的模型对在控制训练 Gflops 后性能曲线不同。
- CLM-007 DiT 对既有 U-Net diffusion 模型的质量优势不依赖 VAE decoder 选择:免重训互换 LDM 原始/ft-MSE/ft-EMA decoder(encoder 相同)后优势均保持。
- CLM-009 U-Net 归纳偏置对 diffusion 质量非关键:标准 ViT 可直接替换 U-Net backbone,并在同等评估协议下取得优于既有 U-Net-based diffusion 模型的质量。
- CLM-010 DiT 在未调参 ADM 配方下稳定训练:恒定 lr、无 warmup/正则,全程无 loss spike。
- CLM-011 patchify 标度:p 减半 → token 与 transformer Gflops 至少 ×4(注意力超线性),参数量近似不变。
- CLM-012 CFG 大幅改善 DiT 生成质量,收益随 guidance scale 增大而递减,并伴随保真度升、多样性(recall)降的权衡;SOTA 数字均以 guidance 口径取得。
- CLM-014 在预训练感知 autoencoder 的 latent 空间训扩散模型,相对同等评估条件下的像素空间扩散模型,同时显著降低训练算力与采样/推理成本,且生成质量不降反升。
- EVI-001 Table 2/§5.1/App.A.1:DiT-XL/2-G 256 FID-50K 2.27(sFID 4.60/IS 278.24),3 通道 guidance 口径,优于 LDM-4-G 3.60 与 StyleGAN-XL 2.30(支撑 CLM-009)。
- EVI-002 Table 4/Figure 5:XL/2 @400K adaLN-Zero FID 19.47 最低(<adaLN 25.21<cross-attn 26.14<in-context 35.24),排序训练全程保持(支撑 CLM-002)。
- EVI-003 Figure 8/6 + Table 4:12 变体 Gflops-FID 强负相关;异构同 Gflops 的 S/2 68.40 vs B/4 68.38 相近、缩小 p 单调改善(支撑 CLM-003)。
- EVI-004 Table 3/§5.1:DiT-XL/2-G 512 FID-50K 3.04(sFID 5.02/IS 240.82),优于全部 diffusion 但未超 StyleGAN-XL 2.41(支撑 CLM-009)。
- EVI-005 Figure 10/§5.2:小模型多步采样追不平大模型(80.7 Tflops@1000 步 FID 25.9 vs 15.2 Tflops@128 步 23.7),采样算力不可替代模型算力(支撑 CLM-005)。
- EVI-006 Figure 9/§4.2:等训练算力下大模型 FID 更低;XL/2 约 10^10 Gflops 后反超 XL/4(训练算力效率,支撑 CLM-006)。
- EVI-007 Table 5/§A.4:decoder original/ft-MSE/ft-EMA FID 2.46/2.30/2.27,encoder 相同免重训互换,差异有限均优于此前的 diffusion(支撑 CLM-007)。
- EVI-008 App. A.1:3 通道 guidance(1.5)FID 2.27 vs 4 通道(1.375)2.20,近似式 3ch(1+x)≈4ch(1+¾x)(支撑 CLM-012 的口径 caveat)。
- EVI-009 §1 + Table 2/3/6:DiT-XL/2 2.27(256)/3.04(512)vs LDM-4-G 3.60/ADM-G+U 3.94 及 118.6G/524.6G 算力对照——架构论题的经验支撑(支撑 CLM-009)。
- EVI-010 §4.1 + Table 4 + Fig.13:未调参 ADM 配方(lr 1e-4/batch 256 全表一致)全程无 loss spike,训练高度稳定(支撑 CLM-010)。
- EVI-011 §3.2 + Table 1/4:p 减半时参数量近似不变(S 33M 等)、Gflops ≥4×(S 0.36→1.41→6.06),验证 patchify 标度(支撑 CLM-011/TH-1)。
- EVI-012 Table 2/3 行内梯度:256 FID 9.62→3.22→2.27、512 12.03→4.64→3.04,档位间改善递减——CFG 效应与饱和(支撑 CLM-012)。
- CPT-001 Diffusion Transformer (DiT)
- CPT-002 adaLN-Zero
- CPT-003 classifier-free guidance
- CPT-004 patchify
- CPT-005 VAE decoder variants (ft-MSE / ft-EMA)
- CPT-006 Latent Diffusion Model
- CPT-007 adaptive layer norm (adaLN)
- CPT-009 Cross-attention conditioning
- CPT-010 DiT cross-attention conditioning
- CPT-011 DiT in-context conditioning
- CPT-013 spatio-temporal cost volume
- CFL-001 表面冲突:CLM-009(DiT)称'U-Net 归纳偏置对生成质量非关键,可换 ViT',CLM-015(LDM)称'2D 卷积归纳偏置对重建保真关键,容忍低压缩'。论文核实:两处'U-Net'是不同网络(second-stage 去噪 UNet vs first-stage 压缩 autoencoder),同名异物、可同真互补,提议 terminology-difference。
- SYN-001 DiT 四种 conditioning 设计系统对比:adaLN-Zero 以可忽略算力增量取得 FID 19.47 全维最优;推导出'交互强度-质量'非单调与'算力效率优先'两条结构观察(单来源外推,显式标注)。
- SYN-002 三源合成:diffusion 管线三段可分解改造——LDM 表示层(latent 感知压缩)、DiT 骨干层(ViT 替换 + Gflops 标度)、G2DP 采样层(推理期引导插件);三论文是时间上的实际组合链(DiT 复用 LDM first-stage,G2DP 用 DiT 骨干),层独立性判断 CLM-013/009/032 解释组合可行性。
- DIS-001 术语 cross-attention 的双 referent 路由:LDM 通用条件接口(CPT-009)与 DiT block 设计变体(CPT-010)。
- DIS-002 术语 adaLN 的两种读法路由:vanilla adaLN(CPT-007)与其零初始化特化 adaLN-Zero(CPT-002)。
- FIG-001 DiT 模型结构图(kblayout 重绘论文 Fig. 2 left):Noised Latent→Patchify→DiT Block×N→Layer Norm→Linear and Reshape→Noise/Σ;Timestep t 与 Label y 经 Embed 侧列进 Block。
- FIG-002 DiT block with adaLN-Zero 结构图(kblayout 重绘论文 Fig. 2 right):主链 LN→MHA→Scale/Shift→⊕→LN→FF→Scale→⊕;Conditioning→MLP 四条参数线送达各 gate。