CPT-004
Concept
patchify
| id | CPT-004 |
|---|---|
| type | concept |
| name | patchify |
| aliases | patch embedding |
| defined-by | SRC-2212.09748 |
Definition
DiT 的第一层：将空间表示（noised latent，I×I×C）线性嵌入为长度 T = (I/p)² 的 token 序列，每 token 维度 d；p 为 patch size 超参 （DiT 设计空间取 p ∈ {2,4,8}）。随后施加标准 ViT 正弦-余弦位置编码。
Disambiguation
- 与 ViT 的 patch embedding 同构，但作用于 VAE latent 而非像素。
- p 减半 → T ×4 → Gflops 至少 ×4，参数量近似不变（CLM-011）： p 是"以参数量近似不变换算力"的结构性杠杆。
- p 是 DiT 设计空间三轴（patch size / block 设计 / 模型规模）之一。
引用（2）
- CLM-011 patchify 标度：p 减半 → token 与 transformer Gflops 至少 ×4（注意力超线性），参数量近似不变。
- SRC-2212.09748 DiT 原始论文（Peebles & Xie, ICCV 2023）：ViT 替换 LDM U-Net backbone，Gflops 视角的 scaling 研究。
被引用（2）
- CPT-002 adaLN-Zero
- FRM-2212.09748 DiT 五层重建：以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究；边界为 class-cond ImageNet 256/512。