Research KB 登录

CPT-010 Concept

DiT cross-attention conditioning

id CPT-010
type concept
name DiT cross-attention conditioning
aliases cross-attention block (DiT), DiT cross-attention variant
defined-by SRC-2212.09748

Definition

DiT 四种 conditioning 设计之一(SRC-2212.09748 §3.2 "DiT block design"): 把 timestep t 与 class label c 的嵌入向量拼接为长度 2 的序列,与 image token 序列分离;标准 ViT block 修改为在 multi-head self-attention 之后 追加一个 multi-head cross-attention 层(论文自述 similar to the original design from Vaswani et al.,亦 similar to the one used by LDM for conditioning on class labels)。条件信息以 token 级交互注入: Query 来自 image tokens,Key/Value 来自 2-token 条件序列——这是它与 adaLN 系(CPT-007/CPT-002,token 无关仿射、对全部 token 施加同一函数) 的本质机制差异。

Empirical Role

  • CLM-002 / EVI-002:四种 conditioning 消融(DiT-XL/2 @ 400K,无 guidance,ft-MSE decoder)中 FID-50K 为 26.14——排序 in-context 35.24 > cross-attention 26.14 > adaLN 25.21 > adaLN-Zero 19.47,且该排序训练 全程保持(Figure 5)。
  • 算力:四种设计中最贵——137.62G,比 adaLN(118.56G)高约 15% (§3.2 "Cross-attention adds the most Gflops, roughly a 15% overhead")。
  • 参数量:598M(Table 4)。
  • 论文结论:质量与算力均劣于 adaLN-Zero,故未入选(§5 此后所有模型均用 adaLN-Zero)。

Disambiguation

  • CPT-009(LDM 通用 cross-attention):同术语、不同 referent—— CPT-009 是 LDM 的通用条件接口(domain encoder \(\tau_\theta\) 把任意模态投影为 K/V 序列注入 U-Net,SRC-2112.10752);本卡是 DiT block 设计轴上的一个 变体(class-conditional ImageNet、2-token K/V、追加于 self-attention 之后)。论文明确承认二者的亲缘(§3.2 "similar to the one used by LDM")。术语级路由见 DIS-001
  • 与 adaLN / adaLN-Zero(CPT-007/CPT-002):token 级交互 vs token 无关 仿射;本变体算力最贵而质量居中,adaLN-Zero 以可忽略的 Gflops 增量取得 最低 FID(CLM-002)。
  • 与 in-context conditioning(CPT-011):四设计的另一成员——条件 t/c 嵌入拼入输入序列走 self-attention 内融合,block 零修改;质量最差 (FID 35.24)但参数最少(CLM-002/EVI-002)。

Notes

  • 论文对四种 conditioning 设计仅文字描述 + Figure 3 图示,无逐 block 公式;本卡机制描述即 §3.2 原文要点的忠实转述(cross-attention 本身是 Vaswani 2017 标准组件)。
  • 本卡为 DIS-001 路由补齐的 referent;established 2026-09-05,源于 "DiT 四种 conditioning 设计"问答暴露的 concept gap(D14 循环)。

关联(13)

  • SRC-2112.10752 High-Resolution Image Synthesis with Latent Diffusion Models
  • SRC-2212.09748 Scalable Diffusion Models with Transformers
  • FRM-2212.09748 DiT 五层重建:以 ViT 替换 latent diffusion 的 U-Net backbone、Gflops 为透镜的 scaling 研究;边界为 class-cond ImageNet 256/512。
  • CLM-002 同 XL/2 与 400K 步预算下,adaLN-Zero 的 FID 19.47 为四种 conditioning 设计最低,且算力最省之一。
  • EVI-002 Table 4/Figure 5:XL/2 @400K adaLN-Zero FID 19.47 最低(<adaLN 25.21<cross-attn 26.14<in-context 35.24),排序训练全程保持(支撑 CLM-002)。
  • CPT-002 adaLN-Zero
  • CPT-007 adaptive layer norm (adaLN)
  • CPT-009 Cross-attention conditioning
  • CPT-011 DiT in-context conditioning
  • CPT-012 FiLM (feature-wise linear modulation)
  • VER-002 核验 CLM-002 adaLN-Zero 胜出:Table 4 四行与 Gflops/params 列逐项一致、Figure 5 排序声明一致,'同配置同预算'经审计修正。supported。
  • SYN-001 DiT 四种 conditioning 设计系统对比:adaLN-Zero 以可忽略算力增量取得 FID 19.47 全维最优;推导出'交互强度-质量'非单调与'算力效率优先'两条结构观察(单来源外推,显式标注)。
  • DIS-001 术语 cross-attention 的双 referent 路由:LDM 通用条件接口(CPT-009)与 DiT block 设计变体(CPT-010)。