Research KB

CLM-005 Claim

采样算力不能补偿模型算力:DiT-L/2 多步(1000 步、80.7 Tflops、FID-10K 25.9)仍劣于 XL/2 低步(128 步、15.2 Tflops、23.7)。

id CLM-005
type claim
source SRC-2212.09748
scope 12 DiT variants at 400K training steps, ImageNet 256x256; FID-10K, sampling steps in {16,32,64,128,256,1000}, no guidance
epistemic supported
lifecycle RECONCILED
created 2026-09-03
updated 2026-09-03

Proposition

在 DiT 模型族内(400K 训练步),扩大采样算力不能补偿模型算力的 不足:小模型即使以更多采样步、乃至更高的单图采样算力生成, FID-10K 仍劣于大模型的低步数采样。论文锚点对照:DiT-XL/2 以 128 步(15.2 Tflops/图)达到 FID-10K 23.7,优于 DiT-L/2 以 1000 步(80.7 Tflops/图,约 5 倍采样算力)的 25.9。

Evidence refs

Notes

结论对 12 个变体在 [16,1000] 步网格上成立(Figure 10 全图); 论文的普适表述为 "scaling-up sampling compute cannot compensate for a lack of model compute"(§5.2)。此为该模型族内的经验规律, 不外推到其他模型族。

引用(2)

  • EVI-005 Figure 10/§5.2:小模型多步采样追不平大模型(80.7 Tflops@1000 步 FID 25.9 vs 15.2 Tflops@128 步 23.7),采样算力不可替代模型算力(支撑 CLM-005)。
  • SRC-2212.09748 DiT 原始论文(Peebles & Xie, ICCV 2023):ViT 替换 LDM U-Net backbone,Gflops 视角的 scaling 研究。

被引用(3)

  • EVI-005 Figure 10/§5.2:小模型多步采样追不平大模型(80.7 Tflops@1000 步 FID 25.9 vs 15.2 Tflops@128 步 23.7),采样算力不可替代模型算力(支撑 CLM-005)。
  • FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
  • VER-005 核验 CLM-005 采样算力:§5.2 锚点(23.7 vs 25.9、15.2 vs 80.7 Tflops)与 Figure 10 一致,FID-10K 口径已声明。supported。