0.1. モデル

0.1.1. 事後分布の表現

下記のような生成モデルが与えられたとする。

つまり、生成分布として以下が存在

• $y$の確率密度関数$p\left(y\right)$
• $y$が与えられた下での$s$の確率密度関数$p\left(s|y\right)$
• $z$が与えられた下での$x$の確率密度関数$p\left(x|z\right)$

また、$U$は直交行列で$z=Us$を満たすとする。

この時、$p(z|x,y)$は上記の確率密度関数を用いて表現可能。

仮定より$z = Us$であるので$p\left(z|y\right)=p\left(s|y\right)(s=U^{T}z)$である。また、 $$p(z|x,y)=\frac{p(x,z,y)}{p(x,y)}$$ であり、右辺の分子については $$p(x,z,y)=p(x|z,y)p\left(z|y\right)p\left(y\right)=p\left(x|z\right)p\left(z|y\right)p\left(y\right)$$ 右辺の分母については $$p(x,y)=p\left(x|y\right)p\left(y\right)$$ 第1項については $$p\left(x|y\right)={\int }_{z}p(x,z|y)dz={\int }_{z}p(x|z,y)p\left(z|y\right)dz={\int }_{z}p\left(x|z\right)p\left(z|y\right)dz$$ であるので、まとめると $$p(z|x,y)=\frac{p(x,z,y)}{p(x,y)}=\frac{p\left(x|z\right)p\left(z|y\right)p\left(y\right)}{p\left(y\right)\left({\int }_{z}p\right(x|z\left)p\right(z|y\left)dz\right)}$$ となり、与えられた確率密度関数を用いて表現できる。

0.1.2. 対数尤度関数の最大化

$p_{\theta }(z|x,y)$を近似するパラメータ$\varphi$によって特徴づけられるエンコーダ$q_{\varphi }(z|x,y)$を用意してJensen's inequalityを用いると以下の式変形から変分下限を求めることが出来る。 $$\begin{array}{cc}\log p_{\theta }\left(x|y\right)& =\log \int p_{\theta }(x,z|y)dz\\ & =\log \int q_{\varphi }(z|x,y)\frac{p_{\theta }(x,z|y)}{q_{\varphi }(z|x,y)}dz\\ & \ge \int q_{\varphi }(z|x,y)\log \frac{p_{\theta }(x,z|y)}{q_{\varphi }(z|x,y)}dz\\ & =\int q_{\varphi }(z|x,y)\log \frac{p_{\theta }(x|z,y)p_{\theta }\left(z|y\right)}{q_{\varphi }(z|x,y)}dz\\ & =-\int q_{\varphi }(z|x,y)\log \frac{q_{\varphi }(z|x,y)}{p_{\theta }\left(z|y\right)}dz+\int q_{\varphi }(z|x,y)p_{\theta }(x|z,y)dz\\ & =-KL\left[q_{\varphi }\right(z|x,y\left)||p_{\theta }\right(z|y\left)\right]+\int q_{\varphi }(z|x,y)p_{\theta }\left(x|z\right)dz\end{array}$$

0.1.3. 復元誤差の最小化

対数尤度関数の変分下限は下記の式であった。 $$\log p_{\theta }\left(x|y\right)\ge -KL\left[q_{\varphi }\right(z|x,y\left)||p_{\theta }\right(z|y\left)\right]+\int q_{\varphi }(z|x,y)p_{\theta }\left(x|z\right)dz$$ 続いて、右辺の2項目$\int q_{\varphi }(z|x,y)p_{\theta }\left(x|z\right)dz$の最大化について考える。

VAEと同じくデコーダー$q_{\psi }\left(x|z\right)$は事前分布$p_{\theta }\left(x|z\right)$を上手く近似できていると考える。

デコーダーが分布を出力する場合

この時モンテカルロ法を用いると右辺は以下のように近似できる。 $$\int q_{\varphi }(z|x,y)p_{\theta }\left(x|z\right)dz=\frac{1}{R}\sum _{r=1}^R{q}_{\psi }\left(x|z_r\right)$$ ただし、$z_1,\dots ,z_R$は独立に$q_{\varphi }(z|x,y)$に従っているとする。

ゆえに、損失関数は以下のようにする。 $$\begin{array}{cc}{L}_R& =-\sum _{i=1}^L\left(\frac{1}{R}\sum _{r=1}^R{q}_{\psi }\right(x^{\left(i\right)}|z_r\left)\right)(z_r\sim q_{\varphi }(z_r|x^{\left(i\right)},y^{\left(i\right)}\left)\right)\\ & =-\frac{1}{LR}\sum _{i=1}^L\sum _{r=1}^R{q}_{\psi }\left(x^{\left(i\right)}|z_r\right)(z_r\sim q_{\varphi }(z_r|x^{\left(i\right)},y^{\left(i\right)}\left)\right)\end{array}$$

デコーダーが一点分布の場合

損失関数を復元した際の誤差で定める。 $$L_R=\frac{1}{L}\sum _{i=1}^{L}d(x^{\left(i\right)},{\hat{x}}^{\left(i\right)})$$ ただし、$z^{\left(i\right)}\sim q_{\varphi }(z|x^{\left(i\right)},y^{\left(i\right)})$,${\hat{x}}^{\left(i\right)}\sim q_{\psi }\left(x|z^{\left(i\right)}\right)$である。また、$d(\cdot ,\cdot )$は元データと復元データの距離を測る関数で一般には$L_1$ノルムや$L_2$ノルムの2乗などを用いる。

0.2. Appendix

0.2.1. Lemma1

Let $M\in R^{m\times n}$ satisfies $M^{T}M=I_n$ and $S\in S^n$ where $I_n$ is the $n$-dimensional identity matrix and $S^n$ is the set of $n$-by-$n$ symmetric matrices. Then

$\text{tr}\left(MS{M}^T\right)=\text{tr}\left(S\right)$

where $\text{tr}\left(A\right)$ means the trace of the matrix $A$.

(proof)

$S$は対称行列なので直交行列$U\in R^{n\times n}$が存在して、 $$S=U\text{diag}({\lambda }_1,\dots ,{\lambda }_n)U^T$$ と表せる。ここで$\text{diag}({\lambda }_1,\dots ,{\lambda }_n)$は対角成分に$S$の固有値をとる対角行列である。

表記の簡略化の為に$D\equiv \text{diag}({\lambda }_1,\dots ,{\lambda }_n)$と定義すると、 $$MS{M}^T=MUD{U}^T{M}^T$$ と表される。$V=MU=(v_1,\dots ,v_n)$とすると、$V^{T}V=U^T{M}^{T}MU=I_n$であるので、任意の$1\le i\le n$に対して、$\parallel v_i|{|}_2^2=v_i^T{v}_i=1$であることに留意すると、 $$\begin{array}{cc}\text{tr}\left(MS{M}^T\right)& =\text{tr}\left(MUD{U}^T{M}^T\right)\\ & =\text{tr}\left(VD{V}^T\right)\\ & =\sum _{j=1}^m\left(\sum _{k=1}^n\left(\sum _{i=1}^n{V}_{ji}{D}_{ik}\right)V_{jk}\right)\\ & =\sum _{j=1}^m\sum _{k=1}^n{\lambda }_k(V_{jk}{)}^2\\ & =\sum _{k=1}^n{\lambda }_k\left(\sum _{j=1}^m\right(V_{jk}{)}^2)\\ & =\sum _{k=1}^n{\lambda }_k\parallel v_k|{|}_2^2\\ & =\sum _{k=1}^n{\lambda }_k\\ & =\text{tr}\left(S\right)\end{array}$$

0.2.2. Lemma2

Let $M\in R^{m\times n}$ satisfies $M^{T}M=I_n$ and $S\in S_{++}^n$ where $I_n$ is the $n$-dimensional identity matrix and $S_{++}^n$ is the set of $n$-by-$n$ positive definite matrices. Then

$\text{tr}\left(\right(MS{M}^T{)}^{1/2})=\text{tr}(S^{1/2})$

(proof)

$M^{T}M=I_n$であるので$(MS{M}^T{)}^{1/2}=M{S}^{1/2}{M}^T$である。ゆえに,$S^{1/2}\in S_{++}^n$に注意すると、Lemma1より$\text{tr}\left(\right(MS{M}^T{)}^{1/2})=\text{tr}(M{S}^{1/2}{M}^T)=\text{tr}(S^{1/2})$

0.2.3. Lemma3

$S_1,S_2\in S_{++}^n\Rightarrow S_1^{1/2}{S}_2{S}_1^{1/2}\in S_{++}^n$

where $S_{++}^n$ is the set of $n$-by-$n$ positive definite matrices.

(proof)

$S_1^{1/2}\in S_{++}^n$であるので、任意の$x\in R^n\setminus \left\{0\right\}$に対して$S_1^{1/2}x\ne 0$であることに注意すると、 $$x^T{S}_1^{1/2}{S}_2{S}_1^{1/2}x=(S_1^{1/2}x{)}^T{S}_2{S}_1^{1/2}x>0$$

0.2.4. Lemma4

Let $A\in R^{m\times n}$, $b\in R^m$, and $X\sim N(\mu ,\Sigma )$ where $N(\mu ,\Sigma )$ represents multivariate normal distribution with its mean vector $\mu$ and covariance matrix $\Sigma$.

Then $AX+b\sim N(A\mu +b,A\Sigma A^T)$

(proof) 定理3

0.2.5. Lemma5

Let $P\sim N({\mu }_1,{\Sigma }_1)$ and $Q\sim N({\mu }_2,{\Sigma }_2)$ where $N({\mu }_1,{\Sigma }_1)$ represents multivariate normal distribution with its mean vector ${\mu }_1$and covariance matrix ${\Sigma }_1$. Then

$W_2(P,Q{)}^2=\parallel {\mu }_1-{\mu }_2{\parallel }_2^2+\text{tr}({\Sigma }_1)+\text{tr}({\Sigma }_2)-2\text{tr}\left(\right({\Sigma }_1^{1/2}{\Sigma }_2{\Sigma }_1^{1/2}{)}^{1/2})$

(proof) see this website

ちなみに、${\Sigma }_1^{1/2}{\Sigma }_2{\Sigma }_1^{1/2}$が正定値行列であることはLemma3で示している。

0.2.6. Lemma6

Let $X_1,\dots ,X_n$ are independent random vectors having density function and $h_i$ is the function whose domain is $X_i$.

Then $h_1\left(X_1\right),\dots ,h_n\left(X_n\right)$ are also independent random vectors.

(proof)

$Y_i\equiv f\left(X_i\right)$と定義する。 $$\begin{array}{cc}P(Y_1=y_1,\dots ,Y_n=y_n)& =P\left(h_1\right(X_1)=y_1,\dots ,h_n(X_n)=y_n)\\ & =P(X_1\in h_1^{-1}(y_1),\dots ,X_n\in h_n^{-1}(y_n\left)\right)\\ & =P(X_1\in h_1^{-1}(y_1\left)\right)\cdot P(X_2\in h_2^{-1}(y_2\left)\right)\cdots \cdot P(X_n\in h_n^{-1}(y_n\left)\right)\\ & =P(Y_1=y_1)\cdots P(Y_n=y_n)\end{array}$$ 参考資料

0.2.7. Lemma7

Let $X_1,\dots ,X_n$ are independent continuous random vectors having density function $p_1\left(x_1\right),\dots ,p_n\left(x_n\right)$, and $Y_1,\dots ,Y_n$ are also independent continuous random vectors having density function $q_1\left(y_1\right),\dots ,q_n\left(y_n\right)$.

Then, the Kullback-Leibler divergence of $Y=(Y_1,\dots ,Y_n)$ from $X=(X_1,\dots ,X_n)$ is

$KL\left[X||Y\right]={\sum }_{i=1}^{n}KL\left[X_i|Y_i\right]$

(proof)

Since $X_1,\dots ,X_n$ are independent, $p\left(x\right)={\prod }_{i=1}^n{p}_i\left(x_i\right)$. It is also true for $Y$, hence we have $$\begin{array}{cc}KL\left[X||Y\right]& ={\int }_{x}p\left(x\right)\log \left(\frac{p\left(x\right)}{q\left(x\right)}\right)\\ & ={\int }_{x_1}\cdots {\int }_{x_n}\left(\left(\prod _{i=1}^n{p}_i\right(x_i\left)\right)\sum _{i=1}^n\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)\right)\\ & =\sum _{i=1}^n\left({\int }_{x_i}{p}_i\right(x_i\left)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)\right)\\ & =\sum _{i=1}^{n}KL\left[X_i|Y_i\right]\end{array}$$

0.2.8. Theorem1

Let $P\sim N({\mu }_1,{\Sigma }_1)$, $Q\sim N({\mu }_2,{\Sigma }_2)$, $M\in R^{m\times n}$ satisfies $M^{T}M=I_n$, and $b\in R^m$ where $N({\mu }_1,{\Sigma }_1)$ represents multivariate normal distribution with its mean vector ${\mu }_1$and covariance matrix ${\Sigma }_1$.

We define $\hat{P}\equiv MP+b$ and $\hat{Q}\equiv MQ+b$. Then,

$W_2(\hat{P},\hat{Q})=W_2(P,Q)$

where $W_2(P,Q)$ is the $W_2$ Wasserstein distance.

(proof)

$W_2(\hat{P},\hat{Q}),W_2(P,Q)\ge 0$であるので、$W_2^2(\hat{P},\hat{Q})=W_2^2(P,Q)$を示せば十分。Lemma4より $$\hat{P}\sim N(M{\mu }_1+b,M{\Sigma }_1{M}^T),\hat{Q}\sim N(M{\mu }_2+b,M{\Sigma }_2{M}^T)$$ である。$M^{T}M=I_n$であることから、$(M{\Sigma }_1{M}^T{)}^{1/2}=M{\Sigma }_1^{1/2}{M}^T$であることに注意すると

、$W_2(\hat{P},\hat{Q}{)}^2$はLemma5より $$\begin{array}{cc}{W}_2(\hat{P},\hat{Q}{)}^2& =\parallel M({\mu }_1-{\mu }_2){\parallel }_2^2+\text{tr}\left(M{\Sigma }_1{M}^T\right)+\text{tr}\left(M{\Sigma }_2{M}^T\right)-2\text{tr}\left(\right(M{\Sigma }_1^{1/2}{\Sigma }_2{\Sigma }_1^{1/2}{M}^T{)}^{1/2})\end{array}$$ ここで、1項目には$M^{T}M=I_n$であることを用いて、2,3項目にはLemma1を用い、${\Sigma }_1^{1/2}{\Sigma }_2{\Sigma }_1^{1/2}$はLemma3より正定値行列であることに注意してLemma2を用いると、

$$W_2(\hat{P},\hat{Q}{)}^2=\parallel {\mu }_1-{\mu }_2{\parallel }_2^2+\text{tr}({\Sigma }_1)+\text{tr}({\Sigma }_2)-2\text{tr}\left(\right({\Sigma }_1^{1/2}{\Sigma }_2{\Sigma }_1^{1/2}{)}^{1/2})=W_2(P,Q{)}^2$$