9-Deep-Relief-Network

玻尔兹曼机

动力系统：描述一个空间中所有点随时间变化情况
Boltzmann Machine: a Stochastic Dynamical System
- 每个随机变量二值： $X\in\{0,1\}^K$ ，可观察变量 $V$ ，隐变量 $H$
- 所有结点全连接
- 每两个变量间影响对称
玻尔兹曼分布： $p(x)=\frac{1}{Z}\exp(\frac{-E(x)}{T})$ $p (x) = \frac{1}{Z} exp (\frac{- E ( x )}{T})$
- $E(x)=E(X=x)=-(\sum_{i<j}\omega_{ij}x_ix_j+\sum_ib_ix_i)$
- $\frac{p_\alpha}{p_\beta}=\exp(\frac{E_\beta-E_\alpha}{kT})$
全条件概率： $p(x_i=1|x_{\backslash i})=\sigma(\frac{\sum_j\omega_{ij}x_j+b_i}{T})$
生成模型：吉布斯采样生成服从 $p(x)$ $p (x)$ 的函数
- 随机选择变量 $X_i$ ，根据 $p(x_i|x_{\backslash i})$ 设置状态，运行到热平衡
- $T$ 越高越容易达到热平衡
- $T\rightarrow+\infty$ : 每个状态一样
- $T\rightarrow 0$ ：退化为 Hopfield 网络
模拟退火寻找全局最优解：以概率 $\sigma(\frac{\Delta E_i(x_{\backslash i})}{T})$ 将变量设置为 1
参数学习
- 可观测变量 $v\in\{0,1\}^{K_v}$
- 隐变量： $h\in\{0,1\}^{K_h}$
- 对数似然： $L(D;W,b)=\frac{1}{N}\sum_{n=1}^N\log p(\hat v^{(n)};W,b)$

隐变量与可观察变量全连接
$E(v,h)=-a^\top v-b^\top h-v^\top Wh$
$p(v,h)=\frac{1}{Z}\exp(-E(v,h))$
生成模型
- $p(v_i|v_{\backslash i,h})=p(v_i|h)$
- $p(v_i=1|h)=\sigma(a_i+\sum_j\omega_{ij}h_j)$
- 吉布斯采样：并行对所有隐变量/可观测变量采样，快速达到热平衡
参数学习
对比散度算法
受限玻尔兹曼机类型
- 伯努利-伯努利 BB-RBM
- 高斯-伯努利 GB-RBM
- 伯努利-高斯 BG-RBM