FRM-006 Formalization

0. Overview

重建对象是 PPR-006（Sohn, Lee & Yan, NIPS 2015）。论文的边界：提出条件变分自编码器（CVAE） 及其特例 GSNN 与混合目标，并给出两种训练策略（多尺度预测、结构化输入噪声）；不改动变分推断本身的数学框架（沿用 SGVB）。核心问题：在结构化输出预测中，如何用一个可扩展、可快速推理的条件深度生成模型来建模多模态输出分布，从而做“一对多”映射与概率推断。论文的论证主线为：一对多映射需要条件分布而非确定性函数 → 条件似然不可解故用变分下界训练 → 隐变量与条件先验给出多模态建模能力 → 特例化与训练策略进一步提升鲁棒性与精度。

1. Definitions

• 输入观测 \(x\)、输出 \(y\)、高斯隐变量 \(z\)：CGM 的三类变量；生成过程为 \(z\sim p_\theta(z|x)\)、\(y\sim p_\theta(y|x,z)\)（PPR-006 §4，Fig 1）。
• conditional variational auto-encoder → CPT-032：条件有向图模型，输入观测调制高斯隐变量的条件先验；由识别网络 \(q_\phi(z|x,y)\)、条件先验网络 \(p_\theta(z|x)\)、生成网络 \(p_\theta(y|x,z)\) 组成。
• Gaussian stochastic neural network → CPT-033：CVAE 取识别网络 =条件先验网络后的特例。
• conditional generative model（CGM） → CANDIDATE：论文对条件生成模型的伞称（含 CVAE、GSNN 等），未单独立 CPT。
• stochastic gradient variational Bayes（SGVB） → CANDIDATE：论文训练所在框架，出处不在库内（引 PPR-006 的 [16]），未立 CPT。
• variational lower bound / ELBO → CANDIDATE：条件对数似然的变分下界，论文的替代训练目标。
• reparameterization trick → CANDIDATE：使下界对参数可微的采样重参数化。
• hybrid objective \(L_{\text{hybrid}}\) → CANDIDATE：论文定义的 CVAE 与 GSNN 目标的凸组合（PPR-006 §4.2, Eq (9)）。
• multi-scale prediction / input noise-injection → CANDIDATE：论文提出的两种训练策略（PPR-006 §4.3）。

2. Axioms

• AX-1（一对多）：结构化输出任务中，同一输入可对应多个合理输出（一对多映射），因此需建模条件分布而非确定性函数（PPR-006 §1）。
• AX-2（多模态）：高维输出的条件分布是多模态的，确定性前馈网络无法建模多模态（PPR-006 §1，引 [32]）。
• AX-3（隐变量可捕获多模态）：以输入调制先验的高斯隐变量足以捕获输出的多模态（PPR-006 §4，Fig 1(b)）。
• AX-4（下界替代）：条件对数似然不可解时，用其变分下界作为可解的训练替代目标（PPR-006 §3–§4）。
• AX-5（噪声注入的正则化选择）：训练时对输入注入噪声可提升鲁棒性，且不重建缺失输入（区别于去噪训练）（PPR-006 §4.3.2）。

3. Theorems

P3 投影（CLM）待发起。薄层为常态，不虚构。

4. Evidence

P3 投影（CLM/EVI + 表/图锚点）待发起。

5. Argument

• AR-1：一对多 → 需要条件生成模型。由 AX-1/AX-2，确定性 CNN 不足，故把输出分布建成以 \(x\) 为条件的生成模型而非确定性映射。
• AR-2：条件似然不可解 → 用变分下界。由 AX-4，引入识别网络 \(q_\phi(z|x,y)\) 得 ELBO，在 SGVB 框架内优化。
• AR-3：训练/测试可用信息不对称 → 测试用条件先验或确定性推断。训练时识别网络可见 \(y\)，测试时 \(y\) 未知，故测试期以 \(z^*=\mathbb{E}[z|x]\) 做确定性推断，或从先验采样取平均。
• AR-4：CVAE 与 GSNN 的关系 → 混合目标。GSNN 令识别=先验（AX-3 的简化实例），训练更简单；\(L_{\text{hybrid}}\) 平衡两者，\(\alpha\) 在 CVAE 与 GSNN 目标间插值。
• AR-5：大图细粒度预测难 → 多尺度预测目标。在 \(1/4\)、\(1/2\)、原尺度同时预测，做全局到局部的粗到细预测。
• AR-6：真实场景输入可能缺失 → 输入噪声注入。训练时以块遮挡噪声腐蚀输入，模拟遮挡/缺失，提升鲁棒性（AX-5）。

6. Commentary

作者评论

• 随机隐变量对多模态结构化输出建模重要；GSNN 在本组模型中表现最好，加混合目标更好；多尺度预测与输入噪声注入两种策略互补（PPR-006 §5–§6）。
• 论文把 CVAE 定位为“在 SGVB 框架内可高效训练”的模型，并强调相对二元随机神经元模型在优化上的实用优势（PPR-006 §2）。

本库评论

• 实验为 2015 年设定（MNIST 玩具、CUB-200、LFW 子集，MatConvNet + Adam），推理耗时 2.32 ms（CNN）/3.69 ms（deep CGM）；论文未报告多种子方差，外部有效性需谨慎（本库 caveat，非论文断言）。
• 本卡为 P2 骨架；Theorems/Evidence 未投影，不得据本卡引用任何论文数值结论。

7. Traceability

Review Log

• 2026-09-10：P2 骨架完成（agent），G1 审核报告待起草、结论待人工签发（DA7：门通过与否由监工/人工裁定，agent 不自行判定）。G1 未过前 P3 禁止开始。