FRM-2605.12964 Formalization

0. Overview

AsymFlow（PPR-2605.12964，Chen/Ackermann/Kim/Wetzstein/Guibas，Stanford，NeurIPS 2026）针对的问题是：流匹配在高维（像素）空间的速度预测瓶颈——速度目标 \(\mathbf{u}=\boldsymbol{\epsilon}-\mathbf{x}_0\)（Eq. 1）要求网络内部表征携带全维噪声，patch 化 Transformer 中形成状态污染（引 RAE，PPR-2510.11690）；替代方案 \(\mathbf{x}_0\)-prediction 虽免于回归噪声，但 \(1/\sigma_t\) 转换在低噪声端病态。方案分三部分：

(i) 秩非对称参数化（§4.1）：patch 级正交投影 \(\mathbf{P}=\mathbf{A}\mathbf{A}^\top\)（\(\mathbf{A}\in\R^{D\times r}\) 各 patch 共享），训练目标改为不对称速度 \(\mathbf{u}_\mathrm{A}=\mathbf{P}\boldsymbol{\epsilon}-\mathbf{x}_0\)（Eq. 3）；子空间来源：从头训练用 patch PCA，latent 适配用 Procrustes 对齐（§5.1）。(ii) 解析恢复（§4.2）：正交分量视角 \(\mathbf{P}\mathbf{u}_\mathrm{A}=\mathbf{P}\mathbf{u}\)、\((\mathbf{I}-\mathbf{P})\mathbf{u}_\mathrm{A}=-(\mathbf{I}-\mathbf{P})\mathbf{x}_0\)（Eq. 4）显示参数化在子空间内 behaving 如 \(\mathbf{u}\)-prediction、补空间内如 \(\mathbf{x}_0\)-prediction，\(r\) 扫出两端点间的参数化族；全秩速度恢复 \(\mathbf{u}=\mathbf{P}\hat{\mathbf{u}}_\mathrm{A}+(\mathbf{I}-\mathbf{P})(\mathbf{x}_t+\hat{\mathbf{u}}_\mathrm{A})/\sigma_t\)（Eq. 5），训练损失与采样流程不变。(iii) latent→pixel 微调（§5）：Procrustes 提升（lift） \(\mathbf{x}_0^\mathrm{L}=s\mathbf{A}\mathbf{z}_0\)（尺度校正 \(s\)）给出输入/输出恒等式（Eq. 6），轨迹耦合定理（附录 Thm 1：\(\mathbf{x}_t^\mathrm{L}=\mathbf{A}\mathbf{z}_t+\sigma_t(\mathbf{I}-\mathbf{P})\boldsymbol{\epsilon}\) 对全程成立）保证初始化的 提升后的（lifted） 模型语义/结构与 latent 模型精确对齐，微调只补 \(\mathbf{x}_0-\mathbf{x}_0^\mathrm{L}\) 低层差；损失为方差缩减目标 \(\mathcal{L}_\mathrm{VR}\)（Eq. 7，以冻结 提升后的 模型预测为控制变量，patch 级自适应 \(\lambda\) 最小化梯度范数）+ LPIPS 感知修正（补偿 \(\mathbb{E}[\mathbf{x}_0^\mathrm{L}|\mathbf{x}_t]\approx\mathbb{E}[\mathbf{x}_0^\mathrm{L}|\mathbf{x}_t^\mathrm{L}]\) 近似的子空间内误差，随扩散时间从 VR 项淡入）。实验：ImageNet 256（JiT-H/16 同配方仅换参数化，r=8 最优；FID 1.76，+REPA 1.57 为实用像素扩散 SOTA）；T2I（FLUX.2 klein 9B 微调，HPSv3/DPG/GenEval 超越其 latent 基座）。重建范围正文 §1–6 + 附录 A–C（子空间构造、尺度/时间步校准、\(\lambda\) 派生）与附录 E 数学推导（Thm 1 及证明）；版本锚定 arXiv:2605.12964v2（2026-05-25 修订）。

1. Definitions

已入库概念的复用：

• Diffusion Transformer (DiT) → CPT-001 / PPR-2212.09748：patch-token 化骨干与“同 Transformer 改目标不改架构”的立场一脉相承；本文的 patch 级低秩投影直接架在 patch-token 表示上（patchify → CPT-004）。
• Latent Diffusion Model → CPT-006 / PPR-2112.10752：潜空间压缩范式是本文的问题起点（细节让位于固定解码器）与 §5 微调的对象（latent 流模型 → 像素模型）；LDM 的 f-autoencoder（CPT-008）即“固定解码器”的实例。
• classifier-free guidance → CPT-003：实验用 grid-searched guidance scale/interval（ADM 评测协议），非方法承重，仅协议引用。

未入库的论文内概念（CANDIDATE，先引用不新建 CPT；是否达到 CPT 粒度待 Part 9 裁决）：

• 不对称速度目标 / AsymFlow 参数化（§4.1 Eq. 3）：数据项全维
  • 噪声项低秩的速度目标，及 Eq. 5 的解析恢复。核心机制，候选 CPT。
• 端点归约 / 参数化族（§4.2 Eq. 4）：\(r=0\) 归约到 \(\mathbf{x}_0\)-prediction（差符号）、\(r=D\) 归约到 \(\mathbf{u}\)-prediction；\(\mathbf{u}\)-pred 与 \(\mathbf{x}_0\)-pred 的互补 trade-off（噪声携带负担 vs \(1/\sigma_t\) 病态）是问题构造的概念基础。候选 CPT（或 FRM 内记录——粒度待裁决）。
• Procrustes 对齐 提升 / 轨迹耦合（§5.1 Eq. 6 + 附录 Thm 1）：latent→低秩像素的精确提升与全程轨迹配对。候选 CPT。
• 方差缩减微调损失控制变量（control variates）（§5.2 Eq. 7）：以冻结提升后的 模型条件均值预测为控制变量，patch 级自适应 \(\lambda\) 最小化梯度范数；LPIPS 门控修正其近似误差。候选 CPT。
• effective rank 选择（§6 Figure rank-FID）：r=8 最优、随机子空间退化到基线水平——“子空间意义”是增益来源而非秩缩减本身。倾向 FRM 内记录（经验结论）。

论文明确定义但不足 CPT 粒度（FRM 内记录）：线性流调度（\(\alpha_t=1-t,\sigma_t=t\)）下的速度定义 Eq. 1；\(\sigma_\mathrm{min}\) 截断及其在正交分量上的低敏感（Table 1：禁截断 JiT 劣化 1.37 FID vs AsymFlow 0.52）；尺度校正 \(s\) 与时间步校准折叠进输入/ 输出/时间步嵌入（附录 B）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（噪声瓶颈公理） 高维空间中全维噪声经网络内部状态传播是性能瓶颈，且瓶颈的机制是“patch 维度上噪声维数相对网络宽度的污染”（引 RAE，PPR-2510.11690）。这是问题构造公理——论文未独立测量“污染”，其可观测后果（r>0 优于 r=0/D）由实验事后支撑；U-Net 旁路、解码器头、x0-prediction 三条既有出路的存在是其间接佐证。
• AX-2（低秩结构公理） 图像数据集中于低维流形，因此速度目标的信息内容集中在一个可预先选定的低秩 patch 子空间内；把噪声预测限缩到该子空间不损失可控性。可行性公理——“哪个子空间足够好”由 PCA/Procrustes 的经验选择回答（随机子空间失败，Figure rank-FID），但最优子空间的存在性/唯一性未讨论。
• AX-3（端点连续性公理） 参数化质量随秩 \(r\) 平滑变化，且存在小而非零的 \(r\) 同时保留 \(\mathbf{u}\)-prediction 的流控制与 \(\mathbf{x}_0\)-prediction 的无噪声负担。这是设计决断——r=8 最优是单数据集（ImageNet 256, D=768）的经验结果，最优秩随数据/分辨率的标度律未研究。
• AX-4（提升 精确性公理） latent 与像素空间经 Procrustes 对齐后，latent 流模型可精确重解释为 rank-\(d\) 像素流模型（Eq. 6 恒等式 + Thm 1 轨迹耦合），且 \(\mathbf{x}_0-\mathbf{x}_0^\mathrm{L}\) 的差“主要是低层的、易修正的”。前半是数学事实（定理），后半是经验性断言（其“低层”定性由 Figure init_compare 定性图与微调收敛行为支撑，未独立量化）。
• AX-5（评估协议） ImageNet 256 类条件：JiT-H/16 同配方（Table 9 of Li 2025）仅换参数化，ADM 评测、guidance 网格搜索；T2I：FLUX.2 klein 9B 在 LAION-Aesthetics 上 10K 迭代微调，COCO-10K 上 HPSv3/HPSv2.1/VQA/CLIP/FID/pFID 六指标对照（基座 latent 微调与 DDT 微调两基线）。同配方同算力对照是本文因果推断（参数化 → 性能）的关键控制。

3. Theorems（作者可推导命题；薄层是常态）

• TH-1（端点归约） 由 Eq. 4 的正交分量分解，\(r=0\) 时 \(\mathbf{u}_\mathrm{A}=-\mathbf{x}_0\)（\(\mathbf{x}_0\)-prediction 至符号），\(r=D\) 时 \(\mathbf{P}=\mathbf{I}\)、\(\mathbf{u}_\mathrm{A}= \mathbf{u}\)（\(\mathbf{u}\)-prediction）；Eq. 5 在两端点分别退化为标准恢复式与恒等式。论证角色：参数化族的良构性，§4.2 直接给出，是 AX-3 的形式基础。→ 投影候选。
• TH-2（轨迹耦合定理，附录 Thm 1） 提升后的 像素 ODE（附录 Eq. 简化式）与 latent ODE 从配对噪声出发满足 \(\mathbf{x}_t^\mathrm{L}=\mathbf{A}\mathbf{z}_t+\sigma_t(\mathbf{I}- \mathbf{P})\boldsymbol{\epsilon}\) 对全部 \(t\in(0,1]\)，终样本 \(\mathbf{x}_0^\mathrm{L}=\mathbf{A}\mathbf{z}_0\)。论证角色：§5 整条微调路线的合法性核心——初始化即语义对齐、微调只补低层差的主张全部由它承载。作者给了证明（附录 E）。→ 投影候选（注意：耦合的是“简化恢复式”下的 提升后的 模型，正文已注明该简化不适用于微调后的模型）。

4. Evidence（实证 → CLM/EVI 映射）

投影未开始（G1 未签发）。骨架阶段先登记论文内承重观察的位置：

• Table 1（\(\sigma_\mathrm{min}\) 消融）：同 \(\sigma_\mathrm{min}=0.04\) 下 AsymFlow 优于 JiT；禁截断 JiT 劣化 1.37 FID vs AsymFlow 0.52——低噪声数值稳定性优势的直接测量。
• Figure rank-FID（秩消融）：r=8 最优；随机子空间 ≈ JiT 基线水平——增益来自子空间语义而非秩缩减（AX-2 的关键判别）。
• Figure converge（收敛速度）：同配方达到可比 FID 快约 40%。
• Table imagenet_compare（SOTA 对比）：AsymFlow r=8+REPA FID 1.57（JiT 1.76、plain transformer 系 1.81*）；REPA 兼容性对照（PixelREPA 报告 plain REPA 对 JiT 无效 1.86*→1.81*，本文 1.76→1.57）。
• Table flux_ablation（T2I 消融）：VR 损失 HPSv3 12.03→12.99，+感知修正 13.06；基座 latent 微调 10.70 但 pFID 18.8（各指标交叉——FID/pFID 上 latent 基座仍优，超越发生在 HPSv3/ HPSv2.1/VQA 等指标）。
• 定性：Figure init_compare（提升 初始化语义对齐）、Figure t2i_system（视觉风格/细节）。

5. Argument（论证结构）

• AR-1（问题构造） latent 范式的代价（固定解码器、细节不可控）+ 像素化的既有出路均有缺陷（架构旁路复杂化 / x0 病态）（§1）。归 Commentary 侧领域判断；RAE 瓶颈论断是承重前提（AX-1），本文未独立验证。
• AR-2（参数化构造） 不对称目标 Eq. 3 → 正交分量视角 Eq. 4 → 恢复式 Eq. 5：构造本身良构（TH-1），训练/采样流程不变是其工程卖点。承重论证，归 CLM 候选。
• AR-3（机制归因） 增益来自“有意义的子空间”而非“秩缩减”：随机子空间退化到基线（Figure rank-FID）。这是本文归因论证中最强的判别性实验，直接区分 AX-2 的两种读法。
• AR-4（数值稳定性论证） 病态转换只发生在正交补空间 → \(\sigma_\mathrm{min}\) 截断敏感度降低（Table 1）。与 AX-1/AX-3 独立成立的次级收益。
• AR-5（提升 路线论证） 数学链：Eq. 6 恒等式 → TH-2 轨迹耦合 → 初始化语义对齐 → 差为低层 → 方差缩减损失补差 + LPIPS 修近似误差。链上每一环分别由定理（前）与消融（后，Table flux_ablation）支撑；“低层差”的定性（AX-4 后半）是最弱环节。
• AR-6（SOTA 主张的口径） ImageNet 1.57 FID 限“实用像素扩散模型”（排除更昂贵的 SiD2 UViT/1）；T2I SOTA 限“像素空间”（latent 基座在 FID/pFID 上仍优）。投影 CLM 时 scope 限定必须保留——两处口径收窄是作者自己做的，不得泛化。

6. Commentary

• 与库内 DiT/LDM 谱系的衔接：本文是对 PPR-2212.09748（DiT：架构层缩放）与 PPR-2112.10752（LDM：空间压缩）两条已 FORMALIZED 路线的第三轴改进——流参数化层。三轴正交：架构（DiT）、空间（LDM）、目标参数化（本文）；本文证据表明参数化轴的增益在架构轴已饱和的设定下仍可提取（JiT 同配方对照），这是库内生成模型谱系值得记入 SYN 的候选叙事（Part 9 后裁决）。
• latent→pixel 路线对 LDM 的内在张力：LDM 的压缩理由是计算可扩展性；本文微调路线保留 latent 骨干但把生成搬回像素，等价于承认“压缩的代价（固定解码器）在高算力预算下可以赎回”。这不是对 CPT-006 的否定——FLUX.2 klein 9B 的预算远超 LDM 原始设定——但谱系叙事上是从“压缩”到“解压微调”的回摆，引用时不得表述为 LDM 结论失效。
• AX-4 后半（“低层差”）是全链最弱环节：语义/结构对齐由 TH-2 数学保证，但“差主要是低层”只有定性图与消融收敛行为支撑；若差含语义分量，VR 损失的控制变量假设（Eq. 7 的近似）偏差会更大——LPIPS 修正的存在恰是作者对该风险的经验性对冲。解释 Table flux_ablation 中 FID/pFID 未全面超越时优先引用此处。
• 优先权口径：目标函数（flow matching）与骨干（DiT/JiT）均非本文贡献；本文贡献限定于参数化（Eq. 3/5）、提升 路线（Eq. 6 + Thm 1）与 VR 损失（Eq. 7）。“首个 latent→pixel 微调路径”的 first 声明是作者自认的优先权主张，投影时保留 hedge “to our knowledge”。

7. Traceability

• 骨架依据：arXiv:2605.12964v2（tarball sha256 52c715e960f593cb6da5d3cfb58c66cc19d21ced0f4c7a62a90c25194bdc5089），正文 §1–6 + 附录 A（方法细节）/B（校准）/C（λ 派生）/E（数学推导与 Thm 1 证明）。附录 D（实验细节）仅协议口径引用。
• 版本注记：v2（2026-05-25）；v1 未比对，若 G1 需要核对首版差异须另行取回（NeurIPS 2026 camera-ready 阶段，正文可能与 v1 有差异——TeX 源含 \if@anonymous 条件分支，投稿匿名版与发表版共享源码）。
• 候选 CPT 清单见 §1；CLM/EVI 投影清单见 §4，待 G1。

Review Log

• 2026-09-08 骨架起草（agent：程慧桢）。待 G1 审核：AX-1..AX-5 对照 §1/§4.1–4.2/§5.1–5.2/§6 原文，AR-1..AR-6 复现论证结构（AR-6 两处 scope 收窄是否保留为重点核查项），TH-1/TH-2 均有原文推导支撑（TH-2 证明在附录 E）。签发待监工/人工。