Research KB

CLM-007 Claim

VAE decoder(original/ft-MSE/ft-EMA)可免重训互换,FID 2.46/2.30/2.27,差异有限且均优于此前 diffusion。

id CLM-007
type claim
source SRC-2212.09748
scope DiT-XL/2-G (3-channel guidance, cfg=1.5), ImageNet 256x256, 7M steps; FID-50K via ft-EMA/ft-MSE/LDM-original VAE decoder swap (no retraining)
epistemic supported
lifecycle RECONCILED
created 2026-09-03
updated 2026-09-03

Proposition

VAE decoder 可以在不重训 diffusion 模型的前提下互换(三者 encoder 相同):LDM original / ft-MSE / ft-EMA 给出 FID-50K 2.46 / 2.30 / 2.27——差异存在但幅度有限;且即使用 LDM 原 decoder,DiT-XL/2 仍 优于此前全部 diffusion 模型。

Evidence refs

Notes

该消融隔离了 decoder 权重对最终指标的贡献,说明 DiT 相对 U-Net diffusion 模型的优势不依赖 SD 微调 decoder(§A.4:"XL/2 continues to outperform all prior diffusion models when using the LDM decoder")。三种 decoder 的口径分工见 CPT-005。 边界情形提示:用 LDM original decoder 时 FID 2.46 劣于 StyleGAN-XL 2.30——CLM-001 的 "all prior generative models 中 最低 FID" 仅在 ft-MSE/ft-EMA 下成立(见 EVI-007 Caveats)。

引用(4)

  • CLM-001 DiT-XL/2(cfg=1.50,3 通道 guidance)在 ImageNet 256×256 达 FID-50K 2.27,为包括 StyleGAN-XL 在内的最低 FID。
  • CPT-005 VAE decoder variants (ft-MSE / ft-EMA)
  • EVI-007 Table 5/§A.4:decoder original/ft-MSE/ft-EMA FID 2.46/2.30/2.27,encoder 相同免重训互换,差异有限均优于此前的 diffusion(支撑 CLM-007)。
  • SRC-2212.09748 DiT 原始论文(Peebles & Xie, ICCV 2023):ViT 替换 LDM U-Net backbone,Gflops 视角的 scaling 研究。

被引用(4)

  • CPT-005 VAE decoder variants (ft-MSE / ft-EMA)
  • EVI-007 Table 5/§A.4:decoder original/ft-MSE/ft-EMA FID 2.46/2.30/2.27,encoder 相同免重训互换,差异有限均优于此前的 diffusion(支撑 CLM-007)。
  • FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
  • VER-007 核验 CLM-007 decoder 消融:Table 5(2.46/2.30/2.27)与 §A.4(encoder 相同、免重训互换、LDM decoder 下仍最优)一致。supported。