7-Unsupervised Learning

Unsupervised Feature Learning

PCA
Sparse Coding（字典学习）
自编码器
- 编码器： $f:\mathbb{R}^D\rightarrow\mathbb{R}^M$
- 解码器： $g:\mathbb{R}^M\rightarrow\mathbb{R}^D$
- 优化目标：最小化重构错误
  
  $L=\sum_{n=1}^N\|x^{(n)}-g(f(x^{(n)}))\|+\lambda\|W\|^2$
- 捆绑权重： $W^{(2)}=W^{(1)\top}$
稀疏自编码器
- $M>D$ 且 $z$ 稀疏
  
  $L=\sum_{n=1}^N\|x^{(n)}-g(f(x^{(n)}))\|+\eta\rho(Z)+\lambda\|W\|^2$
- 稀疏性度量函数： $\rho$
  - $l_1$ 范数： $\rho(z)=\sum_{m=1}^M|z_m|$
  - 对数函数： $\rho(z)=\sum_{m=1}^M\log(1+z_m^2)$
  - 指数函数： $\rho(z)=\sum_{m=1}^M-\exp(-z_m^2)$
  - $\rho(z)=\sum_{j=1}^p\text{KL}(\rho^*\|\hat\rho_j)$
    
    第 $j$ 个神经元激活概率近似（平均活性值）： $\hat\rho_j=\frac{1}{N}\sum_{n=1}^Nz_j^{(n)}$
堆叠自编码器
降噪自编码器：先根据一个比例 $\mu$ 随机将 $𝒙$ 的一些维度的值设置为 $0$ ，得到一个被损坏的向量 $𝒙̃$ ，然后将被损坏的向量 $𝒙̃$ 输入给自编码器得到编码 $𝒛$ ，并重构出无损的原始输入 $𝒙$ 。