EVI-011
Evidence
§3.2 + Table 1/4:p 减半时参数量近似不变(S 33M 等)、Gflops ≥4×(S 0.36→1.41→6.06),验证 patchify 标度(支撑 CLM-011/TH-1)。
| id | EVI-011 |
|---|---|
| type | evidence |
| claims | CLM-011 |
| source | SRC-2212.09748 |
| observation | §3.2 Patchify 段 + Table 1 (model configs Gflops) + Table 4(各配置 Gflops/Params 列) |
| method | 由架构定义推导 T 与 Gflops 的标度关系;Table 1/4 的每配置 Gflops/参数量作为数值确认 |
| scope | I=32(256 分辨率、f8 VAE);p ∈ {8,4,2};Gflops 不含 VAE(encoder+decoder 共 84M params 另计) |
Result
参数量(Table 4):S 33/33/33M、B 131/130/130M、L 459/458/458M、 XL 676/675/675M(p=8/4/2)——p 缩小时近似不变、微降。 Gflops(Table 4):S 0.36/1.41/6.06、B 1.42/5.56/23.01、 L 5.01/19.70/80.71、XL 7.39/29.05/118.64——逐级约 3.9–4.3×。 §3.2:"halving p will quadruple T, and thus at least quadruple total transformer Gflops";"changing p has no meaningful impact on downstream parameter counts"。
Caveats
"至少四倍"的下界由注意力超线性保证;Gflops 口径不含 VAE (Table 4 caption)。p=1 不在网格内(论文未测)。
引用(2)
- CLM-011 patchify 标度:p 减半 → token 与 transformer Gflops 至少 ×4(注意力超线性),参数量近似不变。
- SRC-2212.09748 DiT 原始论文(Peebles & Xie, ICCV 2023):ViT 替换 LDM U-Net backbone,Gflops 视角的 scaling 研究。
被引用(3)
- CLM-011 patchify 标度:p 减半 → token 与 transformer Gflops 至少 ×4(注意力超线性),参数量近似不变。
- FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
- VER-011 核验 CLM-011 patchify 标度:推导链(patchify→T×4→Gflops≥×4、参数不变)与 §3.2 一致,Table 4 实测 3.9–4.3× 逐行核对。supported。