論文概要

• タイトル

  Safety Verification and Robustness Analysis of Neural Networks via Quadratic Constraints and Semidefinite Programming

• 概要

  小さなノイズを加えることでニューラルネットワーク(NN)の画像判別精度が落ちることが報告されており、NNが与えられた時にその頑強性を確かめる手法は重要である。ここでいう頑強性とはある入力$x$に対してNNの出力を$f\left(x\right)$とした時に$x$の近傍の像が$f\left(x\right)$の近傍に含まれているということである。この論文ではより一般的な以下の問題を考える。入力空間上の集合(input certainly set) $X$と出力空間上の集合(safety specification set) $S$が与えられた時に$f\left(X\right)\subset S$を満たすかどうかの判別問題を考える。論文では$X$として$n$次元区間を扱い、$S$として二次制約で表現されるものを扱う。また、写像$f$としては 活性化関数(全層で共通で最終層は無し)を含んだ多層全結合層ネットワークにによって表現される多変量ベクトル値関数を考える。活性化関数を二次制約で上手く近似することで、あるLMN(linear matrix inequality) の解が存在すれば$f\left(X\right)\subset S$が満たすことを示している(逆は成立しないことに注意)

  ※二次制約で表される集合としてはelipsoid(楕円体)、polytopes(多面体)、 zonotopes

  ※ellipsoidsの標準形についてのメモ)

• Contribution(実験結果)

  • 実験環境

    • 5-coreでRAMが8GBの個人PCを使用
    • SDPのソルバーとしてMOSEK with CVXを使用

  • 実験結果

    層数が多くなると非線形関数の影響で既存手法(2018年)では像の近似が上手くいかないが、提案手法ではある程度tightに近似できている(Figure 5)。$1$層でもニューロン数が多くなると近似精度が悪くなる(Figure 6)。定義域が広いと近似精度が悪くなる(Figure 7)。1層における計算速度やメモリ使用量においても既存手法を大幅に上回っている(table 1)

  • 問題のサイズ LMN(linear matrix inequality) feasible problemの変数の数は入力次元を$n_x$、活性化関数の出力次元を$N$とすると$n_x^2+N^2+N$となるので入力を画像等にしてCNNなどに適応することで大規模計算を行うことが出来ると考えられる。(実験では$n_x=2$や$N=10$などtoyモデルで行っている)

• 気になっていること

  • CNNへの拡張

• 論文の読み方のTips

  メインの定理がTheorem1でそれを多層に拡張したのがTheorem2となっている。その他のPropositionやLemmaはTheorem1を具体的な問題で用いるための補足定理となっている。その為、Theorem1を読んで概要を掴んでから興味があるLemmaやPropositionを読んでいけば良いと思います。

• その他

  • 凸関数や微積分の勉強としてLem2の補足やProp2の補足>(f)は読むと良いと思います。
  • 論文に記載されている証明は全て簡単な行列計算です。

論文の構成

• Theorem 1

  単層全結合NNにおいて$f\left(X\right)\subset S$問題をLMN(linear matrix inequality) に変換する為の重要な定理

• Theorem 2

  Theorem 1を多層全結合NNに拡張した定理

• Proposition 1

  Theorem 1において$X$として$n$次元区間を用いるための命題

• Lemma1

  Theorem 1においてslope-restricted(論文内で定義)である活性化関数を用いるための補題

• Lemma2

  多変数ベクトル値関数がslope-restrictedである事を証明するのを手助けする定理の紹介

• Proposition2

  活性化関数でよく使われる関数ReLU, sigmoid, tanh, leaky ReLU, exponential linear function, softmax functionがslope-restrictedであることを紹介

• Lemma 3

  Theorem 1を活性化関数ReLUに適応するための補題

論文の重要な定理と解釈

0.1. Theorem 1(SDP for one layer)

Consider a one-layer neural network $f:R^{n_x}\to R^{n_y}$ described by the equations

$y\equiv f\left(x\right)=W^1\varphi (W^{0}x+b^0)+b^1$

where $W^0\in M_{n_1\times n_x}\left(R\right),W^1\in M_{n_y\times n_1}\left(R\right),b^0\in R^{n_1},b^1\in R^{n_y}$ and $\varphi :R^{n_1}\to R^{n_1}$.

Given an input uncertainty set $X\in R^{n_x}$ and $S\in S^{n_y}$, consider the following matrix inequality:

$M_{\text{in}}+M_{\text{mid}}+M_{\text{out}}⪯0$

where $M_{\text{in}},M_{\text{mid}},M_{\text{out}}\in S^{n_x+n_1+1}$ such that

$$\begin{array}{cc}{M}_{\text{in}}& =\left[\begin{array}{cc}{I}_{n_x}& 0\\ 0& 0\\ 0& 1\end{array}\right]P\left[\begin{array}{ccc}{I}_{n_x}& 0& 0\\ 0& 0& 0\end{array}\right]\\ M_{\text{mid}}& =\left[\begin{array}{ccc}{W^0}^T& 0& 0\\ 0& I_{n_1}& 0\\ b_0^T& 0& 1\end{array}\right]Q\left[\begin{array}{ccc}{W^0}^T& 0& b^0\\ 0& I_{n_1}& 0\\ 0& 0& 1\end{array}\right]\\ M_{\text{out}}& =\left[\begin{array}{cc}0& 0\\ {W^1}^T& 0\\ {b^1}^T& 1\end{array}\right]S{\left[\begin{array}{ccc}0& W^1& b^1\\ 0& 0& 1\end{array}\right]}^T\end{array}$$

If the above inequality is feasible for some $P\in S^{n_x+1},Q\in S^{2n_1+1}$ which satisfy

$$\begin{array}{}& {\left[\begin{array}{c}x\\ 1\end{array}\right]}^{T}P\left[\begin{array}{c}x\\ 1\end{array}\right]\le 0\forall x\in X& & {\left[\begin{array}{c}z\\ \varphi \left(z\right)\\ 1\end{array}\right]}^{T}Q\left[\begin{array}{c}z\\ \varphi \left(z\right)\\ 1\end{array}\right]\le 0\forall z\in R^{n_1}& \text{(1)}& \text{(2)}\end{array}$$

We have

$${\left[\begin{array}{c}y\\ 1\end{array}\right]}^{T}S\left[\begin{array}{c}y\\ 1\end{array}\right]\le 0\forall x\in X$$

Moreover if we define $$S\equiv \{y\in R^{n_y}\mid {\left[\begin{array}{c}y\\ 1\end{array}\right]}^{T}S\left[\begin{array}{c}y\\ 1\end{array}\right]\le 0\}$$

we can conclude that $f\left(X\right)\subset S$

(proof)

論文中のTheorem1 Appendix A.4

(補足)

行列$P,Q$がそれぞれ(1)、(2)を満たすことを確かめるのが現実的には難しいのでProposition1やLemma1などを使って$P,Q$の探索範囲を前もって(1)、(2)を満たすところに絞って計算を行うことがポイント

(解釈)

上記の証明から定理を自分なりに解釈

$X$を含むような2次制約で表される領域($P$によって表現されている)と非線形関数$\varphi$の入力$z$と出力$\varphi \left(z\right)$に関するtightな2次制約($Q$によって表現される)を与えることができ、それらを用いて表現される$f\left(X\right)$の近似$f_{P,Q}\left(X\right)(\supset f(X\left)\right)$が$S$に十分含まれているなら$f\left(X\right)\subset S$と評価できる。

この事を示してみる。定理を満たしている$P$と$Q$が存在したとする。この時、 $$X_P\equiv \{x\in R^{n_y}\mid {\left[\begin{array}{c}x\\ 1\end{array}\right]}^{T}P\left[\begin{array}{c}x\\ 1\end{array}\right]\ge 0\}$$ と定義すると$P$の定義から$X\subset X_P$($X_P$は$X$を含むような二次制約)

また、$f^0:R^{n_x}\to R^{n_1}$を$f^0\left(x\right)=W^{0}x+b^0$、$f^1:R^{n_1}\to R^{n_y}$を$f^1\left(x\right)=W^{1}x+b^1$と定義すると$f=f^1\circ \varphi \circ f^0$と表現できる。次に$\varphi$を評価する。 $$U_P^0\equiv f^0\left(X_P\right),Z_P^0\equiv \varphi \left(U_P^0\right)$$ と定義した時に$Z_P^0$を以下で評価する。 $$Z_{P,Q}^0\equiv \{z^{\prime }\in R^{n_1}\mid z\in R^{n_x},{\left[\begin{array}{c}z\\ z^{\prime }\\ 1\end{array}\right]}^{T}Q\left[\begin{array}{c}z\\ z^{\prime }\\ 1\end{array}\right]\ge 0\}$$ この時$Q$の定義より$Z_P^0\subset Z_{P,Q}^0$である。

最後に$S$を評価する$S_{P,Q}$を以下のように定義する。

まず、任意の$x\in X_P$に対して $$Z_{P,Q}^0\left(x\right)\equiv \{z^{\prime }\in R^{n_1}\mid z=f^0(x),{\left[\begin{array}{c}z\\ z^{\prime }\\ 1\end{array}\right]}^{T}Q\left[\begin{array}{c}z\\ z^{\prime }\\ 1\end{array}\right]\ge 0\}$$ と定義する。

また、任意の$x\in X_P$に対して $$S_{P,Q}\left(x\right)\equiv \{y\in R^{n_y}\mid y=f^1(z),z\in Z_{P,Q}^0(x),{\left[\begin{array}{c}y\\ 1\end{array}\right]}^{T}S\left[\begin{array}{c}y\\ 1\end{array}\right]\le -{\left[\begin{array}{c}x\\ z\\ 1\end{array}\right]}^T{M}_{\text{in}}\left[\begin{array}{c}x\\ z\\ 1\end{array}\right]-{\left[\begin{array}{c}x\\ z\\ 1\end{array}\right]}^T{M}_{\text{mid}}\left[\begin{array}{c}x\\ z\\ 1\end{array}\right]\}$$ 、$S_{P,Q}\equiv {\bigcup }_{x\in X}{S}_{P,Q}\left(x\right)$と定義する。

不等式の右辺は$P,Q$の定義より正でないことから、$S\subset S_{P,Q}$であることは即座に分かる。

また$S_{P,Q}$というのは本来は入力$x\in X_P$に対しての像が$S$に入るかチェックするところをそれより、狭い$S_{P,Q}\left(x\right)$に入るか確認するためのものである。入力$x$が$P$によって定まる集合の境界付近にある時には$S$に近づくように大きくなる($Q$についても同様)

以上の議論から$f\left(X\right)\subset S$であるかを以下のようにチェックしていると考えられる。

$f^1\left(Z_{P,Q}^0\right)\subset S_{P,Q}$を満たす$P,Q$が存在したら $$f\left(X\right)=(f^1\circ \varphi \circ f^0)\left(X\right)\subset (f^1\circ \varphi \circ f^0)\left(X_P\right)=f^1\left(Z_P^0\right)\subset f^1\left(Z_{P,Q}^0\right)\subset S_{P,Q}\subset S$$ であるので$f\left(X\right)\subset S$が確かめられる。

論文の証明の補足

0.2. Prop1の補足

Given, $\overline{x}$ and $\underset{–}{x}$, the hyper rectangle $X\equiv \{x\mid \underset{–}{x}\le x\le \overline{x}\}$ satisfies the quadratic constraint defined by

$$P\equiv \{P\in R^{(d+1)\times (d+1)}\mid P=\left[\begin{array}{cc}-(\Gamma +{\Gamma }^T)& \Gamma \underset{–}{x}+{\Gamma }^T\overline{x}\\ {\underset{–}{x}}^T{\Gamma }^T+{\overline{x}}^T\Gamma & -{\underset{–}{x}}^T{\Gamma }^T\overline{x}-\overline{x}\Gamma \underset{–}{x}\end{array}\right],\text{where}\Gamma \in R^{d\times d},{\Gamma }_{ij}\ge 0\forall i,j\}$$

which means that $\forall P\in P$,

$${\left[\begin{array}{c}x\\ 1\end{array}\right]}^{T}P\left[\begin{array}{c}x\\ 1\end{array}\right]\ge 0\forall x\in X$$

(Proof) $${\left[\begin{array}{c}x\\ 1\end{array}\right]}^{T}P\left[\begin{array}{c}x\\ 1\end{array}\right]=(x-\underset{–}{x})\Gamma (\overline{x}-x)+(x-\underset{–}{x}){\Gamma }^T(\overline{x}-x)\ge 0$$

0.3. Def3の補足

Definition3 (slope-restricted nonlinearity)

A nonlinear function $\varphi \left(x\right):R^d\to R^d$ is slope-restricted on $[\alpha ,\beta ]$ ($0\le \alpha \le \beta$) if for any $x,x^{\ast }\in R^d$, one has

$\left(\varphi \right(x)-\varphi (x^{\ast })-\alpha (x-x^{\ast }\left){)}^T\right(\varphi \left(x\right)-\varphi \left(x^{\ast }\right)-\beta (x-x^{\ast }))\le 0$

If $d=1$ it is equivalent to this inequality

$\alpha \le \frac{\varphi \left(x\right)-\varphi \left(x^{\ast }\right)}{x-x^{\ast }}\le \beta \forall x,x^{\ast }\in R$

(proof)

(上) →(下)

$x-x^{\ast }\ge 0$である時は $$\varphi \left(x\right)-\varphi \left(x^{\ast }\right)-\beta (x-x^{\ast })\le \varphi \left(x\right)-\varphi \left(x^{\ast }\right)-\alpha (x-x^{\ast })$$ であることに注意すると示せる。$x-x^{\ast }\le 0$の場合も同様に示す。

(下)→(上)は定義通りすれば示せる。

論文の対象としているNN

• 同一の層であれば各ニューロンに対して同じ活性化関数が使われている
• The activation value might be bounded from below or above (e.g., the ReLU)

0.4. Lem1の補足

$$\begin{array}{cc}& {\left[\begin{array}{c}{x}_i-x_j\\ \phi \left(x_i\right)-\phi \left(x_j\right)\end{array}\right]}^T{\left[\begin{array}{cc}-2\alpha \beta & \alpha +\beta \\ \alpha +\beta & -2\end{array}\right]}^T\left[\begin{array}{c}{x}_i-x_j\\ \phi \left(x_i\right)-\phi \left(x_j\right)\end{array}\right]\\ =& -2\left(\phi \right(x_i)-\phi (x_j)-\alpha (x_i-x_j\left)\right)\left(\phi \right(x_i)-\phi (x_j)-\beta (x_i-x_j\left)\right)\ge 0\end{array}$$

本文中の証明で $${\left[\begin{array}{c}x\\ \varphi \left(x\right)\end{array}\right]}^T{\left[\begin{array}{cc}-2\alpha \beta E_{ij}& (\alpha +\beta )E_{ij}\\ (\alpha +\beta )E_{ij}& -2\end{array}\right]}^T\left[\begin{array}{c}x\\ \varphi \left(x\right)\end{array}\right]$$ という数式の$-2$は$-2E_{ij}$に訂正する必要あり

0.5. Lem2証明

Lemma2の証明は論文中では以下の論文を参照とあったが、探すことが出来なかったので他の資料を探して証明した.

まず定義

Def (slope-restricted nonlinearity)

A nonlinear function $\varphi \left(x\right):R^d\to R^d$ is slope-restricted on $[\alpha ,\beta ]$ ($0\le \alpha \le \beta$) if for any $x,x^{\ast }\in R^d$, one has

$\left(\varphi \right(x)-\varphi (x^{\ast })-\alpha (x-x^{\ast }\left){)}^T\right(\varphi \left(x\right)-\varphi \left(x^{\ast }\right)-\beta (x-x^{\ast }))\le 0$

Def ($\beta$-smooth)

We say that a continuously differentiable function $f$ is $\beta$-smooth $\beta \ge 0$ if the gradient $\nabla f$ is $\beta$-Lipschitz, that is

$$\parallel \nabla f\left(x\right)-\nabla f\left(y\right)\parallel \le \beta \parallel x-y\parallel$$

Def ($\alpha$-strongly convex)

We say that $f$ is $\alpha$-strongly convex ($\alpha \ge 0$) if it satisfies the following sub gradient inequality:

$$f\left(x\right)-f\left(y\right)\le \nabla f\left(x{)}^T\right(x-y)-\frac{\alpha }{2}\parallel x-y{\parallel }^2(\forall x,y)$$

Since $\nabla f\left(x{)}^T\right(x-y)-\frac{\alpha }{2}\parallel x-y{\parallel }^2\le f(x{)}^T(x-y)$, $f$ is convex

Lemma 2 (gradient of convex functions)

Consider a function $g:R^d\to R$ that is $\alpha$-strongly convex and $\beta$-smooth. Then the gradient function $\nabla g:R^d\to R^d$ is slope-restricted in the sector $[\alpha ,\beta ]$.

(proof)

$\alpha +\beta >0$の時はこの定理を式変形することで示せる。$\alpha +\beta =0$の時は$\alpha =\beta =0$となるので$g$が$\beta$-smoothであることから示せる。

0.6. Prop2の補足

0.6.1. a

$\phi \left(x\right)=max(0,x)$については $$0\le \frac{\phi \left(x\right)-\phi \left(x^{\ast }\right)}{x-x^{\ast }}\le 1\forall x,x^{\ast }\in R$$ であることと$\phi \left(0\right)=0$から示せる。

0.6.2. b

$\phi \left(x\right)=\frac{1}{1+e^{-x}}$については${\phi }^{\prime }\left(x\right)=\frac{e^{-x}}{(1+e^{-x}{)}^2}$で$0\le {\phi }^{\prime }\left(x\right)\le 1$であり${\phi }^{\prime }$は連続であることから$\phi$はslope-restricted in the sector$[0,1]$であることが示される。詳細

0.6.3. c

$\phi \left(x\right)=\tanh \left(x\right)$については${\phi }^{\prime }\left(x\right)=\frac{1}{{\cosh }^2\left(x\right)}$であり$1\le \cosh \left(x\right)$であるので$0\le {\phi }^{\prime }\left(x\right)\le 1$であり${\phi }^{\prime }$は連続であることからslope-restricted in the sector$[0,1]$.また、$\phi \left(0\right)=0$であるのでsector-bounded in the sector$[0,1]$.

0.6.4. d

$\phi \left(x\right)=axI(x<0)+xI(x\ge 0)$の場合にslope-restrictedは以下のように示せる。$x,x^{\ast }$がそれぞれ$0$以上かどうかで場合分けをする。一番厄介な$0\le x,x^{\ast }<0$の場合のみを示す。 $$\frac{\phi \left(x\right)-\phi \left(x^{\ast }\right)}{x-x^{\ast }}\le \frac{x-ax}{x-x^{\ast }}\le \frac{x-max(a,1)x^{\ast }}{x-x^{\ast }}\le \frac{max(a,1)(x-x^{\ast })}{x-x^{\ast }}=max(a,1)$$ 他も同様。また$\phi \left(0\right)=0$であるのでsector-boundedである。

0.6.5. e

論文の主張は間違っているので訂正。$\phi \left(x\right)=xI(x\ge 0)+a(e^x-1)I(x<0)$ With $a>0$の時はslope-restricted and sector-bounded in the sector $[0,max(1,a\left)\right]$である。論文では$max(a,1)$のところが$1$となっているが誤りである。実際$a>1$の時は$\phi \left(x\right)-x=a(e^x-1)-x<0$を満たす$x<0$が存在するので$\left(\phi \right(x)-0\cdot x)\left(\phi \right(x)-1\cdot x)>0$となり矛盾。slope-restricted and sector-boundedであることの証明は定義通りに確かめれば出来るので略。

0.6.6. f

$\phi \left(x\right)=[\frac{e^{x_1}}{{\sum }_{i=1}^d{e}^{x_i}},\dots ,\frac{e^{x_d}}{{\sum }_{i=1}^d{e}^{x_i}}]$がslope-restricted in the sector $[0,1]$であることを示す。

$g\left(x\right)\equiv \log \left({\sum }_{i=1}^d{e}^{x_i}\right)$と定義すると$\nabla g=\varphi$であるのでLemma2を用いることを考える。まず、$g$が凸集合(つまり、$0$-strongly convex)であることを示す。任意の$\theta \in [0,1]$と任意の$x,y\in R^n$に対してヘルダーの不等式を用いると、 $$\begin{array}{cc}g(\theta x+(1-\theta \left)y\right)& =\log \left(\sum _{i=1}^n{e}^{\theta x_i+(1-\theta )y_i}\right)\\ & \le \log \left({\left(\sum _{i=1}^n{e}^{x_i}\right)}^{\theta }{\left(\sum _{i=1}^n{e}^{y_i}\right)}^{1-\theta }\right)\\ & =\theta g\left(x\right)+(1-\theta )g\left(y\right)\end{array}$$ であるので凸関数。

次に$\phi \left(x\right)$のリプシッツ定数が$1$以下であることを示す。

ベクトル値関数のリプシッツ定数についての定理より、 $$\parallel \phi \left(x\right)-\phi \left(y\right)\parallel \le (\underset{w\in R^d}{sup}\parallel D\phi (w)\parallel )\parallel x-y\parallel$$ が成立する。ここで、$\parallel \cdot \parallel$は行列およびベクトルに関するフロベニウスノルムを表し、$D\phi$はヤコビ行列を表す。つまり、$D\phi$の$(i,j)$成分$(D\phi {)}_{ij}$は$\frac{\partial {\phi }_i}{\partial x_j}$を表す。この時、 $$\left(D\phi {)}_{ij}\right(x)=\{\begin{array}{cc}{\phi }_i\left(x\right)(1-{\phi }_i(x\left)\right)& (i=j)\\ -{\phi }_i\left(x\right){\phi }_j\left(x\right)& (i\ne j)\end{array}$$ であるので、 $$\parallel D\phi \left(x\right)\parallel =\sqrt{\sum _{1\le i,j\le d}{\left(\right(D\phi {)}_{ij}\left(x\right))}^2}=\sqrt{\sum _{i=1}^d{\phi }_i\left(x{)}^2\right(1-{\phi }_i\left(x\right){)}^2+\sum _{1\le i,j\le d,i\ne j}{\phi }_i\left(x{)}^2{\phi }_j\right(x{)}^2}$$ となる、この時${\sum }_{i=1}^d{\phi }_i\left(x\right)=1,{\phi }_i\left(x\right)\ge 0$に注意すると$\parallel D\phi \left(x\right)\parallel$は${\phi }_i\left(x\right)={\phi }_j\left(x\right)(\forall i,j)$の時に最大値をとる。そのことを背理法を用いて証明する。まず$\{x\in R^d\mid \parallel x{\parallel }_1={\sum }_{i=1}^d{x}_i=1\}\cap \{x\in R^d\mid x\ge 0\}$は有界閉集合であり、$\phi$とノルムの連続性より$\parallel D\phi \left(x\right)\parallel$はコンパクトであるので最大値を持つ。今、${\phi }_i\left(x\right)\ne {\phi }_j\left(x\right)$の時に$\parallel D\phi \left(x\right)\parallel$が最大値を取ったとする。この時、${\phi }_i\leftarrow \frac{{\phi }_i+{\phi }_j}{2}$,${\phi }_j\leftarrow \frac{{\phi }_i+{\phi }_j}{2}$と置き換えた方が値が大きくなるので最大値に矛盾する。なお、値が大きくなることは、以下の事実から分かる。 $${\phi }_i(1-{\phi }_i)+{\phi }_j(1-{\phi }_j)<2\left(\frac{{\phi }_i+{\phi }_j}{2}\right)\left(\frac{{\phi }_i+{\phi }_j}{2}\right){\phi }_i{\phi }_j<{\left(\frac{{\phi }_i+{\phi }_j}{2}\right)}^2$$ よって、$\parallel D\phi \left(x\right)\parallel$は${\phi }_i=\frac{1}{d}$の時に最大値$\frac{\sqrt{d-1}}{d}$をとるので$d\ge 2$のときは$\phi \left(x\right)$のリプシッツ定数が$1$より小さいことが分かった。また、$d=1$の場合は$\phi \left(x\right)=x$であるのでリプシッツ定数は1である。

Backup(執筆者のメモ)

0.6.7. indefinite matrix

• A symmetric matrix that is not positive semi-definite and not negative semi-definite is called indefinite
• Symmetric matrix is called indefinite if it has at least one positive eigenvalue and at least one negative eigenvalue.

Let $S$ be the class of univalent(単射) functions in the unit disk $D=\{z\mid |z|<1\}$ , normalized by the conditions $f\left(0\right)=0$ and $f^{\prime }\left(0\right)=1$ and given by $$f\left(z\right)=z+\sum _{n=2}^{\infty }{a}_n{z}^n$$ We say that $f\in S$ is starlike if and only if, for $z\in D$, $$\mathrm{Re}\left(\frac{z{f}^{\prime }\left(z\right)}{f\left(z\right)}\right)>0$$ and we denote the subclass of functions by $C$.

We say that $f\in S$ is convex if and only if, for $z\in D$, $$\mathrm{Re}(1+\frac{z{f}^{\prime \prime }\left(z\right)}{f^{\prime }\left(z\right)})>0$$ and we denote the subclass of functions by $S^{\ast }$.

Then it is widely known that $C\subset S^{\ast }\subset S$.

For any real number $\alpha$, denote by $M\left(\alpha \right)$ the class of alpha-convex, or so-called Ma-Minda functions defined for $z\in D$ by the relationship [3] $$\mathrm{Re}\left[\right(1-\alpha )\frac{z{f}^{\prime }\left(z\right)}{f\left(z\right)}+\alpha (1+\frac{z{f}^{\prime \prime }\left(z\right)}{f^{\prime }\left(z\right)})]$$ 参考資料

今後の展開:

区間$I$と領域$V$が与えられた時に$V\subset f\left(I\right)$を満たすニューラルネット$f$を求める。