CPT-031 Concept

Definition

Representation Distribution Matching（RDM）是 PPR-2607.02375 为一条生成建模范式起的名称（论文原话“We refer to this paradigm as Representation Distribution Matching”）。RDM 指同时满足以下共同特征的一支方法——这组特征共同把它与相邻的生成范式分开，是这一支的判别依据：

1. 一步生成：生成器 \(g_\theta\) 把先验样本 \(z \sim p_z\) 经一次网络求值映射为输出，输出律为 \(p_\theta\)；推理不需要多次迭代。
2. 唯一训练信号是分布匹配：训练目标是把生成分布与真实数据分布对齐，即最小化两个分布之间的距离——约束的是输出的分布，而不是逐样本目标、不是逐条轨迹、也不是教师的中间量。
3. 匹配发生在冻结预训练编码器的特征空间：两个分布先经一个冻结的预训练编码器 \(\phi\) 投到特征空间，再比对 \(\phi_* p_\theta\) 与 \(\phi_* p_{\text{data}}\)（\(\phi_*\) 为 pushforward）；\(\phi\) 不参与训练。特征空间由预训练模型提供，是这一支区别于早期固定核矩匹配（如 moment matching networks）的关键。
4. 无在线教师、无对抗判别器、无推理期轨迹模拟：三条“没有”划出它与三类相邻范式的边界（见 Disambiguation）。

满足上述特征的即属 RDM 这一支。支内各方法彼此不同——用哪个分布距离、怎样从有限样本估计它、参考取什么、条件生成时匹配哪个联合律、用哪些编码器——但这些差异是支内变体，不改变该支的共同特征。RDM 是 PPR-2607.02375 为这条脉络起的伞名，不是单篇方法；该论文的贡献是命名、给出设计空间分解并定位各实例。

Disambiguation

• 与蒸馏（distillation）区分：蒸馏需要在线教师，并匹配教师的轨迹、score 或矩；RDM 无在线教师（特征 4）。
• 与 GAN 区分：GAN 用随训练更新的对抗判别器；RDM 的分布距离是固定的（核、矩、最优传输等），无对抗。
• 与扩散/flow 模型区分：扩散/flow 也以分布匹配为目标，但经多步迭代去噪隐式实现、推理昂贵；RDM 显式匹配特征分布、推理一步（特征 1）。
• 与“分布匹配”泛称区分：广义上任何最小化输出分布与数据分布距离的训练都算分布匹配；RDM 特指在冻结预训练编码器特征空间里、以特征分布匹配为唯一训练信号的一步生成支（特征 2、3、4 共同限定）。
• 库内实例：Drifting（PPR-2602.04770）、FD-loss（PPR-2604.28190）、W-Flow（PPR-2605.11755）；各实例在支内的具体选择差异见相应卡片。