EVI-017
Evidence
§2.5 + §4.3–4.5：cross-attention 条件机制与多模态应用（支撑 CLM-017）。
| id | EVI-017 |
|---|---|
| type | evidence |
| claims | CLM-017 |
| source | SRC-2112.10752 |
| observation | §2.5 Conditioning Mechanisms（Eq. cond_loss, cross-attention 公式 Q/K/V, Fig. conditioning）+ §4.3–§4.5 的多模态条件应用（text/class/layout/SR/inpainting） |
| method | domain-specific encoder τ_θ 把条件 y 投影为 M×d_τ 的 token 序列；cross-attention：Q=W_Q·φ_i(z_t)（来自 UNet 在噪声 latent 上的中间特征），K=W_K·τ_θ(y)，V=W_V·τ_θ(y)；L_simpleLCM=||ε−ε_θ(z_t,t,τ_θ(y))||²，τ_θ 与 ε_θ 联合优化。对密集条件（SR/inpainting）则把 y 与 z_t 的通道拼接、τ_θ 取恒等。 |
| scope | text（BERT/CLIP, LAION-400M 1.45B）, class（ImageNet）, layout（OpenImages/COCO）, SR/inpainting（concat, f=4）; f=4..8 |
Result
同一个 cross-attention 注意力算子 Attention(Q,K,V)=softmax(QK^T/√d)V，通过改变 K/V 的来源（τ_θ(y)）即可接入不同模态：
- 文本：y=prompt，τ_θ 用 BERT tokenizer + transformer，在 LAION-400M 训 1.45B KL-LDM（§4.3.1，Fig. text2img_samples）。
- 类别：y=class label，经 AdaIN/CA 注入（class-cond ImageNet）。
- 布局：y=bounding box/语义布局，OpenImages 训、COCO 微调（补充 Sec. bboxtoimage）。
- SR/inpainting：y=低清图/mask，与 z_t 通道拼接、τ_θ≡id（§4.4/§4.5）。
Caveats
τ_θ 的"expert"选型是任务依赖的自由度：文本用（未 mask 的）transformer，类标签用 AdaIN/CA，SR/inpainting 退化为恒等+拼接。这说明"通用"是注意力机制层的通用，而具体 y→token 的编码仍需 per-domain 设计。Fig. conditioning 是机制示意（非定量）。与 DiT 侧的关系：DiT 把该 LDM 框架内的 U-Net backbone 换成 ViT，但 cross-attention 条件方式（尤其 text/CA）沿用——故 DiT 的 CFG/text 条件可在本源的 §2.5 找到出处。
引用（2）
- CLM-017 LDM 以通用 cross-attention 注入任意条件（τ_θ 投影 y 为 KV，UNet 中间特征为 Q），一个 backbone 承载多模态条件。
- SRC-2112.10752 Latent Diffusion Model 原始论文（Rombach et al.）；Stable Diffusion 学术源头，DiT 所引『latent diffusion』。
被引用（3）
- CLM-017 LDM 以通用 cross-attention 注入任意条件（τ_θ 投影 y 为 KV，UNet 中间特征为 Q），一个 backbone 承载多模态条件。
- FRM-2112.10752 LDM 五层重建：感知压缩 AE + 潜空间扩散的两段分解，换取训练/采样成本大降；多任务多分辨率（256²/512²→~1024²）。
- VER-017 条件机制核验：Q/K/V 公式（§2.5 Eq. cond_loss）与命题一致，text/class/layout/i2i 四模态有实例，与 DiT adaLN 不同机制不冲突。supported。