Research KB

EVI-003 Evidence

Figure 8/6 + Table 4:12 变体 Gflops-FID 强负相关;异构同 Gflops 的 S/2 68.40 vs B/4 68.38 相近、缩小 p 单调改善(支撑 CLM-003)。

id EVI-003
type evidence
claims CLM-003
source SRC-2212.09748
observation Figure 8 (Gflops vs FID-50K scatter) + Figure 6 (scaling curves) + Appendix Table 4 (12 variants)
method 12 个 DiT 变体(S/B/L/XL x p=8/4/2)各训 400K steps,FID-50K 无 guidance(ft-MSE VAE decoder),画 Gflops-FID 散点
scope 400K steps、ImageNet 256x256、无 guidance 的 12 变体网格

Result

Gflops 与 FID-50K 呈强负相关(Figure 8);Gflops 相近的异构配置 FID 相近(论文举例 DiT-S/2 与 DiT-B/4:6.06G/68.40 vs 5.56G/68.38)。参数量保持而 Gflops 增长的对照(缩小 p)FID 单调改善,如 DiT-B 系列:1.42G/122.74(p=8)→ 5.56G/68.38(p=4) → 23.01G/43.47(p=2),参数量 131M/130M/130M 近似不变(Table 4)。

Caveats

相关性观察限于本网格与该训练预算;论文同时报告更大模型在等训练 Gflops 预算下更 compute-efficient(Figure 9),但两者是不同命题。 "参数量不是决定因素"是由对照推出的否定性结论,其外推依赖网格覆盖度。

引用(2)

  • CLM-003 模型前向 Gflops(而非参数量)主导 DiT 质量:Gflops 相近则 FID 相近,且与 FID-50K 强负相关。
  • SRC-2212.09748 DiT 原始论文(Peebles & Xie, ICCV 2023):ViT 替换 LDM U-Net backbone,Gflops 视角的 scaling 研究。

被引用(3)

  • CLM-003 模型前向 Gflops(而非参数量)主导 DiT 质量:Gflops 相近则 FID 相近,且与 FID-50K 强负相关。
  • FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
  • VER-003 核验 CLM-003 Gflops-FID 标度:Fig.8/6 引用与 Table 4 十二变体数字(S/2 6.06G、B/4 5.56G 等)逐项核对一致,以'经验规律'限定未泛化。supported。