[TOC]

変分ベイズVariational_Bayesian

1. 参考資料

• このページとこのページを基にまとめている.

• VAEの元論文(主に確認用に使用)

• VAEの説明 英語(未読)

2. 内容

2.1. 変分ベイズ

• 変分ベイズ(Variational_Bayesian)とは?

  観測されている変数から観測されていない変数の推論を最適化を用いて行う手法

• Problem setup

  • 観測データ$X$は(パラメータを持っている)潜在変数$Z$から確率的に生成されているとする($X$,$Z$は確率変数).つまり,$p\left(X|Z\right)$が定まっている.

  • $P\left(X\right)$を$X$の確率分布,$p\left(X\right)$を確率密度関数とする.($Z$についても同様に定義する)

  • この時,Bayes's Theoremを用いると$P\left(Z|X\right)$を下記の式から $$p\left(Z|X\right)=\frac{p\left(X|Z\right)p\left(Z\right)}{p\left(X\right)}=\frac{p\left(X|Z\right)p\left(Z\right)}{{\int }_{Z}p(X,Z)}$$

• 変分下限(Variational_Lower_bound)の導出 $$\begin{array}{cc}\log p\left(X\right)& =\log {\int }_{Z}p(X,Z)\\ & =\log {\int }_{Z}p(X,Z)\frac{q\left(Z\right)}{q\left(Z\right)}\\ & =\log \left(E_q\left[\frac{p(X,Z)}{q\left(Z\right)}\right]\right)\\ & \ge E_q\left[\log \frac{p(X,Z)}{q\left(Z\right)}\right]\because \text{Jensen's inequality}\\ & =E_q\left[\log p\right(X,Z\left)\right]+H\left[Z\right]\text{variational lower bound/ELBO}\\ & =L\end{array}$$ where

  • $H\left[Z\right]=-E_q\left[q\right(Z\left)\right]$(Shannon entropyと呼ぶ)

  • $q\left(Z\right)$ is approximation of the true posterior distribution of $p(Z\mid X)$

  特記事項

  • Jensen's inequalityの証明(別タブで開くと良い)
  • $p\left(X\right)$を最大にするために,ELBO(evidence lower bound)を最大にする場合がある

• VBのMain Idea

  approximation $q\left(Z\right)$とtrue distribution $p\left(Z|X\right)$近さはKullback-Leibler(KL) divergenceで測ることができる. $$\begin{array}{cc}KL\left[q\right(Z\left)||p\right(Z|X\left)\right]& ={\int }_{Z}q\left(Z\right)\log \frac{q\left(Z\right)}{p\left(Z|X\right)}\\ & =-{\int }_{Z}q\left(Z\right)\log \frac{p\left(Z|X\right)}{q\left(Z\right)}\\ & =-\left({\int }_{Z}q\right(Z)\log \frac{p(X,Z)}{q\left(Z\right)}-{\int }_{Z}q(Z\left)\log p\right(X\left)\right)\\ & =-{\int }_{Z}q\left(Z\right)\log \frac{p(X,Z)}{q\left(Z\right)}+\log p\left(X\right){\int }_{Z}q\left(Z\right)\\ & =-L+\log p\left(X\right)\end{array}$$ よって, $$\begin{array}{}L=\log p\left(X\right)-KL\left[q\right(Z\left)||p\right(Z|X\left)\right]& \text{(1)}\end{array}$$

となる.つまり,$\log p\left(X\right)$とELBOの差は真の分布$p\left(Z|X\right)$と近似$q\left(Z\right)$のカルバック情報量となる.言い換える真の分布と近似が一致する時に限り,$\log p\left(X\right)$とELBOは一致する.

2.2. 潜在空間と観測空間の距離の関係

自然な仮定のもとで潜在空間$Z$での距離が近ければ観測空間$X$の距離が近くなる事を示す。

つまり、示したい事は $$z_1\simeq z_2\Rightarrow p\left(x|z_1\right)\simeq p\left(x|z_2\right)(\forall x\in X)$$ 以下では上記を示す。

$x\in X$を任意に固定する。ベイズの定理より $$p\left(x|z\right)=\frac{p\left(z|x\right)p\left(x\right)}{p\left(z\right)}$$ である。この時、$p\left(z\right)$は$z_1\simeq z_2\Rightarrow p\left(z_1\right)\simeq p\left(z_2\right)$が成立していると仮定する。VAEでは$p\left(z\right)$は正規分布を仮定することが多いので、この仮定は自然だと思われる。

また、学習が上手くいくと生成モデルでは$p\left(z|x\right)$はエンコーダー$q\left(z|x\right)$で近似出来ている(損失関数がKL情報量の最小化であるため)。この時$q\left(z_1|x\right)\simeq q\left(z_2|x\right)$と仮定しても自然であると思われる。(VAEだと$q\left(z|x\right)$にはよく正規分布が使われるのでこの仮定が成立する。ちなみにエンコーダーが正規分布というのは、つまりエンコーダーの出力が${\mu }_x$,${\sigma }_x^2$であって、$z\sim q\left(z|x\right)\iff z\sim N({\mu }_x,{\sigma }_x^2)$ということである)

また、$x$は定数であるので、$p\left(x|z_1\right)\simeq p\left(x|z_2\right)$である。

2.3. VAE

2.3.1. 変分下限Lの式変形

$$p\left(Z|X\right)=\frac{p\left(X|Z\right)p\left(Z\right)}{p\left(X\right)}$$

を用いると $$\begin{array}{cc}KL\left[q\right(Z\left)||p\right(Z|X\left)\right]& ={\int }_{Z}q\left(Z\right)\log \frac{q\left(Z\right)}{p\left(Z|X\right)}\\ & ={\int }_{Z}q\left(Z\right)\left(\log q\right(Z)-\log p\left(Z|X\right))\\ & ={\int }_{Z}q\left(Z\right)\left(\log q\right(Z)-\log p(X|Z)-\log p(Z)+\log p(X\left)\right)\\ & =\log p\left(X\right)+{\int }_{Z}q\left(Z\right)\left(\log q\right(Z)-\log p(Z\left)\right)-{\int }_{Z}q\left(z\right)\log p\left(X|Z\right)\\ & =\log p\left(X\right)+{\int }_{Z}q\left(Z\right)\log \frac{q\left(Z\right)}{p\left(Z\right)}-E_q\left[\log p\right(X|Z\left)\right]\\ & =\log p\left(X\right)+KL\left[q\right(Z\left)||p\right(Z\left)\right]-E_q\left[\log p\right(X|Z\left)\right]\end{array}$$ となる.

これまでの議論において$p\left(Z|X\right)$の近似$q\left(Z\right)$を$q\left(Z|X\right)$と置き換えても同じ議論ができるので,今後は置き換えたものを用いる.この時,上式は $$KL\left[q\right(Z|X\left)||p\right(Z|X\left)\right]=\log p\left(X\right)+KL\left[q\right(Z|X\left)||p\right(Z\left)\right]-E_q\left[\log p\right(X|Z\left)\right]$$ となる.

また,変分ベイズ>式(1)において$q\left(Z\right)$を$q\left(Z|X\right)$と置き換えることで, $$\begin{array}{}L=\log p\left(X\right)-KL\left[q\right(Z|X\left)||p\right(Z|X\left)\right]& \text{(2)}\end{array}$$ となる.よって, $$\begin{array}{}L=-KL\left[q\right(Z|X\left)||p\right(Z\left)\right]+E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]& \text{(3)}\end{array}$$

2.3.2. VAEの仮定

1. 潜在変数(prior over the latent variable)$p\left(Z\right)$が多変量標準正規分布$N(0,I)$に従っている.

2. $p\left(X|Z\right)$が多変量正規分布(multivariate Gaussian)もしくはBernoulli(in the case of binary data)に従っている.

   ※実際$p\left(X|Z\right)$の分布は何でも良い気がする.大事なことは分布のパラメーターがデコーダーによって与えられているということ.

3. 真の事後分布$p\left(Z|X\right)$がdiagonal covarianceを持った多変量正規分布に従っていると仮定する.

   ---

   ※ちなみに,$p\left(X|Z\right)$の平均が$Z$の線形結合となっている場合はこの公式より3.の仮定がなくても正規分布に従うことが分かる.

   ---

   この時,その近似である$q\left(X|Z\right)$もdiagonal covarianceを持ったガウス分布に従っていると考えるのが妥当であるから, $$q\left(Z|X\right)=N(Z;\mu ,{\sigma }^{2}I)$$ と表せる.ここで,$Z$の次元を$J$とすると${\sigma }^2\in R_{>0}^J$,$I\in R^{J\times J}$は単位行列 ,${\sigma }^{2}I\in R^{J\times J}$は$(i,j)$成分が$i=j$の時${\sigma }_j^2$そうでないとき$0$となっている行列を表すことにする.また,分布のパラメータ$\mu$と${\sigma }^2$はエンコーダーによって与えられているものとする.

2.3.3. VAEの目標

• データ$X$が観測された事実が尤もらしくなるように,生成分布であるデコーダー$p\left(X|Z\right)$の(パラメータを)学習

• 真の事後分布$p\left(Z|X\right)$を近似するエンコーダー$q\left(Z|X\right)$の(パラメータを)学習

を同時に行う手法.

その為に変分下限Lの式変形> 式(2)の式に現れる変分下限$L=\log p\left(X\right)-KL\left[q\right(Z|X\left)||p\right(Z|X\left)\right]$の最大化を目指す.上の(2)式は計算しずらいので,式変形した式(3)である$L=-KL\left[q\right(Z|X\left)||p\right(Z\left)\right]+E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]$を最大化する(VAEの仮定より2つの項は計算可能である.(計算方法については後述)

補足(尤度最大化の具体例)

コインを1,000回投げて800回表が出た時にコインを1回投げた時に表が出る確率を推定する場合を考える.表が出る確率(パラメータ)が1/2とすると上記の観測結果が得られる確率(尤度)は非常に小さくなるので表が出る確率は1/2でないことが推測される.一方,表が出る確率が0.8だとすると上記の観測結果が得られる確率は最大になり,尤もらしいパラメータであると推測される.

2.3.4. カルバック情報量の計算

$KL\left[q\right(Z|X\left)||p\right(Z\left)\right]$を考える.VAEの仮定より$q\left(Z|X\right)=N(Z;\mu ,{\sigma }^{2}I)$であり,$\mu$と${\sigma }^2$はエンコーダーの出力となっている.仮定より$p\left(Z\right)$は多変量標準正規分布であるのでカルバック情報量$KL\left[q\right(Z|X\left)||p\right(Z\left)\right]$はこの公式より,$Z$の次元を$J$とすると, $$KL\left[q\right(Z|X\left)||p\right(Z\left)\right]=-\frac{1}{2}\sum _{j=1}^J(1+\log {\sigma }_j^2-{\mu }_j^2-{\sigma }_j^2)$$ と表せる.

2.3.5. 復元誤差reconstruction_errorの計算

$E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]$を大きくする為には,入力データ$x$を($q\left(Z|X\right)$に従って)エンコードしたデータ$E\left(x\right)$を生成元とした時に$X$が生成される確率$p\left(x|E\right(x\left)\right)$が大きくなければならないので,$-E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]$は復元誤差(reconstraction error)と呼ばれる.

また,$E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]$の近似としてモンテカルロ法,すなわち $$E_{q\left(z|x\right)}\left[\log p\right(x|z\left)\right]\approx \frac{1}{L}\sum _{\ell =1}^L\log p\left(x|z^{\left(\ell \right)}\right)$$ が用いられることがある.ただし,$z^{\left(\ell \right)}=\mu +\sigma \odot {ϵ}^{\left(\ell \right)}$ and ${ϵ}^{\left(\ell \right)}\sim N(0,I)$であり$\mu$,$\sigma$はエンコーダーによって取得される.(実際のコードでは$L=1$となっていることが多い).この時,$p\left(x|z\right)$はVAEの仮定よりベルヌーイ分布か正規分布でありパラメータはデコーダーによって得られるので右辺は計算可能.

2.3.6. 損失関数

以上の議論より,損失関数$L\left(X\right)$(最小化)は以下のようになる. $$\begin{array}{cc}L\left(X\right)& \equiv -L\\ & =KL\left[q\right(Z|X\left)||p\right(Z\left)\right]-E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]\\ & =-\frac{1}{2}\sum _{j=1}^J(1+\log {\sigma }_j^2-{\mu }_j^2-{\sigma }_j^2)-E_{q\left(Z|X\right)}\left[\log p\right(X|Z\left)\right]\end{array}$$

2.4. 非正則化異常度

2.4.1. 参考文献

• 論文
• 解説記事

2.4.2. 仮定

• VAEでは$p\left(X|Z\right)$はベルヌーイ分布か正規分布と仮定していたが,今回はがdiagonal covarianceを持った正規分布(multivariate Gaussian)に従っていると仮定する.つまり,$p\left(x|z\right)=N(x;\mu ,{\sigma }^{2}I)$と表されるとする.また,分布のパラメータ$\mu$と${\sigma }^2$はデコーダーによって与えられるものとする.

残りはVAEの仮定と同じ.

2.4.3. 損失関数

今回はVAEの損失関数 $$KL\left[q\right(z|x\left)||p\right(z\left)\right]-E_{q\left(z|x\right)}\left[\log p\right(x|z\left)\right]$$ に現れる$E_{q\left(z|x\right)}\left[\log p\right(x|z\left)\right]$を$\log p\left(x|{\mu }_z\right)$で近似する.ただし,${\mu }_z$は正規分布である$q\left(z|x\right)$の平均を表す(エンコーダーによって得られる).

また${\mu }_z$はエンコーダーによって得られるため,$x$に依存していることと,$p\left(x|z\right)$は正規分布であることを考慮すると$p\left(x|{\mu }_z\right)=N(x;{\mu }_x,{\sigma }_x^{2}I)$と表すことができ,仮定より${\mu }_x$,${\sigma }_x^2$はデコーダーに${\mu }_z$を代入した時の出力である.

以上をまとめると,本手法の損失関数$L_{VAE}\left(x\right)$は以下のように表すことが出来る.

($N_x$は入力次元数,$N_z$は潜在空間の次元数) $$\begin{array}{cc}L\left(x\right)& =KL\left[q\right(z|x\left)||p\right(z\left)\right]-E_{q\left(z|x\right)}\left[\log p\right(x|z\left)\right]\\ & \approx KL\left[q\right(z|x\left)||p\right(z\left)\right]-\log p\left(x|{\mu }_z\right)\\ & =KL\left[q\right(z|x\left)||p\right(z\left)\right]-\log \left(\frac{|{\sigma }_x^{2}I{|}^{-1/2}}{(2\pi {)}^{N_x/2}}\exp \right(-\frac{1}{2}(x-{\mu }_x{)}^T({\sigma }_x^{2}I{)}^{-1}(x-{\mu }_x)\left)\right)\\ & =D_{VAE}\left(x\right)+\frac{1}{2}\log |{\sigma }_x^{2}I|+\frac{1}{2}\log (2\pi {)}^{N_x}+\frac{1}{2}\sum _{i=1}^{N_x}\frac{({\mu }_{x_i}-x_i{)}^2}{{\sigma }_{x_i}^2}\\ & =D_{VAE}\left(x\right)+\frac{1}{2}\sum _{i=1}^{N_x}\log {\sigma }_{x_i}^2+\frac{1}{2}\sum _{i=1}^{N_x}\log 2\pi +M_{VAE}\left(x\right)\\ & =D_{VAE}\left(x\right)+\frac{1}{2}\sum _{i=1}^{N_x}\log 2\pi {\sigma }_{x_i}^2+M_{VAE}\left(x\right)\\ & =D_{VAE}\left(x\right)+A_{VAE}\left(x\right)+M_{VAE}\left(x\right)\\ & \equiv L_{VAE}\left(x\right)\end{array}$$ ただし, $$\begin{array}{cc}{D}_{VAE}\left(x\right)& =KL\left[q\right(z|x\left)||p\right(z\left)\right]=\frac{1}{2}\sum _{j=1}^{N_z}(-\log {\sigma }_{z_j}^2-1+{\sigma }_{z_j}^2+{\mu }_{z_j}^2)\\ A_{VAE}\left(x\right)& =\frac{1}{2}\sum _{i=1}^{N_x}\log 2\pi {\sigma }_{x_i}^2\\ M_{VAE}\left(x\right)& =\frac{1}{2}\sum _{i=1}^{N_x}\frac{({\mu }_{x_i}-x_i{)}^2}{{\sigma }_{x_i}^2}\end{array}$$ である.ただし

学習時は$L_{VAE}\left(x\right)$の最小化を目指す

2.4.4. 従来の異常度について

変分下限Lの式変形 式(2)より $$L_{VAE}\left(x\right)\approx L\left(x\right)=-L=-\log p\left(X\right)+KL\left[q\right(Z|X\left)||p\right(Z|X\left)\right]$$ であり,学習が上手くいった場合は$KL\left[q\right(Z|X\left)||p\right(Z|X\left)\right]$が十分小さくなると考えると,右辺は$-\log p\left(X\right)$となるので異常度とすることが出来る.

2.4.5. 提案手法の異常度について

正常と異常を区別するための非正則化異常度$L_{VAE,M}\left(x\right)$は以下で定義される. $$L_{VAE,M}\left(x\right)\equiv M_{VAE}\left(x\right)$$ 損失関数$L_{VAE}\left(x\right)$から正規分布の正規化定数の対数$A_{VAE}\left(x\right)$とVAEの正則化項$D_{VAE}\left(x\right)$を取り除いたので非正則化異常度と呼ばれる.

構造が多様な製品に対しても有効な異常度$L_{VAE,M}\left(x\right)$を定義したことが成果だと主張している.論文の実験データとなっているネジ穴データセットにおいて,従来手法の異常度$L_{VAE}\left(x\right)$を用いた場合, 画像間で差分が大きいネジ穴の溝の部分は正常でも異常と判別されるが異常度$L_{VAE,M}\left(x\right)$を用いた場合には正常のものは正常と判別できている.

2.4.6. 学習

概要

• 正常品と異常品の両方を入力として(ラベルがついてなくても良い)$L_{VAE}\left(x\right)$を損失関数としてVAEの学習を行う.
• テストデータ以外で$L_{VAE,M}\left(x\right)$を求めて閾値を決定する

※論文では640x480の画像を96x96に切り取って学習及びテストを行っている.

詳細

• 初めの畳み込み層のチャネル数$N_c\in \{16,32,64\}$
• 潜在空間の次元数$N_z\in \{2,5,10,20,50,100\}$