CPT-033 Concept

Definition

高斯随机神经网络（Gaussian stochastic neural network, GSNN）是 PPR-006 提出的模型，其定义是 CVAE 的一个特例：把 CVAE 的识别网络与条件先验网络取相等即得 GSNN（PPR-006 §4.2）。此时目标中只剩生成项（不再有 KL 项）：

GSNN 可理解为一个带高斯隐变量的随机前馈网络：输入 \(x\) 经确定性函数 \(g_\theta\) 与噪声 \(\epsilon\) 生成隐变量 \(z\)，再由 \(p_\theta(y|x,z)\) 生成输出。由于可由 CVAE 特化得到，CVAE 的重参数化等训练技巧同样适用于 GSNN；其测试期推断与条件似然估计也与 CVAE 相同。

Disambiguation

• 与 CVAE（CPT-032）区分：CVAE 含识别网络 \(q_\phi(z|x,y)\) 与 KL 项，目标为条件似然的变分下界；GSNN 令识别网络等于条件先验网络，目标只保留生成项。
• 与 GDNN 区分：GDNN（Gaussian deterministic neural network）是 GSNN 把辅助高斯隐变量的协方差趋于零后的确定性对应物（PPR-006 脚注）。
• 与普通随机网络区分：GSNN 的随机性来自显式的高斯隐变量与可重参数化的采样，而非 dropout 之类的正则化噪声。