Research KB

CLM-011 Claim

patchify 标度:p 减半 → token 与 transformer Gflops 至少 ×4(注意力超线性),参数量近似不变。

id CLM-011
type claim
source SRC-2212.09748
scope DiT architecture (patchify on I×I×C latents, T=(I/p)^2); configs S/B/L/XL x p in {8,4,2} at 256x256 (I=32)
epistemic supported
lifecycle RECONCILED
created 2026-09-03
updated 2026-09-03

Proposition

patchify 的结构性标度:patch size p 减半使 token 数 T=(I/p)² 增至 四倍、transformer Gflops 至少增至四倍(注意力项超线性),而参数量 近似不变(实测略降)——p 是"以参数量近似不变换算力"的结构杠杆。

Evidence refs

Notes

可推导命题(由 patchify 定义 + transformer 前向构成推出),Table 1/4 为数值确认。此 claim 是 CLM-003(Gflops 而非参数量)论证结构的 前提:参数量固定对照来自 p 轴。实测四倍率略超 4×(如 DiT-S: 0.36→1.41→6.06G,比率 3.9×/4.3×),超线性部分来自注意力对 T 的二次依赖。

引用(3)

  • CLM-003 模型前向 Gflops(而非参数量)主导 DiT 质量:Gflops 相近则 FID 相近,且与 FID-50K 强负相关。
  • EVI-011 §3.2 + Table 1/4:p 减半时参数量近似不变(S 33M 等)、Gflops ≥4×(S 0.36→1.41→6.06),验证 patchify 标度(支撑 CLM-011/TH-1)。
  • SRC-2212.09748 DiT 原始论文(Peebles & Xie, ICCV 2023):ViT 替换 LDM U-Net backbone,Gflops 视角的 scaling 研究。

被引用(4)

  • CPT-004 patchify
  • EVI-011 §3.2 + Table 1/4:p 减半时参数量近似不变(S 33M 等)、Gflops ≥4×(S 0.36→1.41→6.06),验证 patchify 标度(支撑 CLM-011/TH-1)。
  • FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
  • VER-011 核验 CLM-011 patchify 标度:推导链(patchify→T×4→Gflops≥×4、参数不变)与 §3.2 一致,Table 4 实测 3.9–4.3× 逐行核对。supported。