[TOC]

0.1. 重みの初期値

• Xavierの初期値->重み=randn*(層のノードの数によって変化させる係数) SSDのextra_netのConv層のweightで使われていた.ただし,biasではconstが使われている.

0.2. パラメータ調整

• ハイパーパラメータのopunaの自動枝刈りの機能が強力そう. 深層学習において,ここでいう枝刈りとは最初に指定したepoch数に達してなくても「学習率がこれ以上下がらなそうだったり」、「lossが大きすぎる場合」は途中で学習を終了し,別のハイパーパラメータを探索することをいう.

枝刈りの様子を視覚的に描写

Optunaの公式サイト 実際に使う時

0.3. ネットワークの可視化

https://github.com/HarisIqbal88/PlotNeuralNet

0.3.1. データセットについて

• CPUでデータを読み込んで訓練時にGPUを使用する場合はtorch.utils.data.DataLoaderのpin_memory=TrueとすることでデータをGPUに移動することきの時間が短縮される参考文献

0.4. データセットについて

0.5. アノテーション形式について

VOCフォーマット<xmin>は1始まりでWまで

1. 理論

1.1. 複数の特徴量をまとめる関数

$f$は任意の$\{x_i{\}}_{i=1}^n\subset R^m$と任意の$n$次の置換$\rho$に対して, $$f(x_1,\dots ,x_n)=f(x_{\rho \left(1\right)},\dots ,x_{\rho \left(n\right)})$$ を満たしている.

この時,$f$は任意の$\{x_i{\}}_{i=1}^n\subset R^m$と任意の$n$次の置換$\rho ,\sigma$に対して, $$f(x_{\sigma \left(1\right)},\dots ,x_{\sigma \left(n\right)})=f(x_{\rho \left(1\right)},\dots ,x_{\rho \left(n\right)})$$ が成立することを示せ.

線形関数では複数の特徴量をまとめる関数は実質的に構成できない.

$x_i$:$i$番目の細胞の特徴量とする

任意の$\{x_i{\}}_{i=1}^n\subset R^m$ただし $x_i=(x_{i1},\cdots ,x_{im}{)}^T\in R^m$,任意の$n$次の置換$\sigma ,\rho$に対して, $$f(x_{\sigma \left(1\right)},\dots ,x_{\sigma \left(n\right)})=f(x_{\rho \left(1\right)},\dots ,x_{\rho \left(n\right)})$$ を満たす関数$f:R^{n\times m}\to R$を求めたい.上記は $$f(x_1,\dots ,x_n)=f(x_{\rho \left(1\right)},\dots ,x_{\rho \left(n\right)})$$ を満たす$f$を求めることと同値であることは容易に分かる.

まず,$f$を深層学習でよく用いられている線形結合の形に限定して考える.つまり $$f(x_1,\dots ,x_n)=\sum _{1\le i\le n,1\le j\le m}{a}_{ij}{x}_{ij}+b_{ij}$$ とする.

この時,任意の$\{x_i{\}}_{i=1}^n\subset R^m$,任意の$n$次の置換$\sigma$に対して仮定より $$\begin{array}{}\sum _{1\le i\le n,1\le j\le m}{a}_{ij}{x}_{ij}+b_{ij}=\sum _{1\le i\le n,1\le j\le m}{a}_{ij}{x}_{\sigma \left(i\right)j}+b_{ij}& \text{(*1)}\end{array}$$ が成立する.$1\le i_1<i_2\le n$,$1\le j_0\le m$を任意に固定し,$i_1$と$i_2$を入れ替える互換を$\sigma$とする.このとき, $$\begin{array}{c}{x}_{ij}=\{\begin{array}{cc}1& \text{if}i=i_1,j=j_0\\ 0& \text{otherwise}\end{array}\end{array}$$ とする. (*1)より$a_{i_1{j}_0}=a_{i_2{j}_0}$が成立.よって$a_j\equiv a_{1j}=\cdots =a_{nj}$,$b=\frac{{\sum }_{i=1}^n{\sum }_{j=1}^m{b}_{ij}}{nm}$ $$\begin{array}{cc}f(x_1,\dots ,x_n)& =\sum _{1\le i\le n,1\le j\le m}{a}_j{x}_{ij}+b\\ & =\sum _{1\le i\le n}(\sum _{1\le j\le m}{a}_j{x}_{ij}+b_{ij})\end{array}$$ となる.