Calculus(微分積分)

0.0.1. 微分積分学の基本定理

If $f$ is integrable on $[a,b]$ and $f=g^{\prime }$ for some function $g$, then

${\int }_a^{b}f=g\left(b\right)-g\left(a\right)$

0.0.2. 多変数の微分積分学の基本定理

$a,h\in R^n$$f:R^n\to R$は$a$と$a+h$を結ぶ線分を含む開集合上で$C_1$級であるとする。この時 以下が成立する。

$f(a+h)-f\left(a\right)={\int }_0^1\nabla f(a+th{)}^{T}hdt$

(Proof)

$g:R\to R$を$g\left(t\right)=\nabla f(a+th{)}^{T}h$と定義すると$f$の定義より$g$は$[0,1]$を含む開集合上で連続であるので$g$は$[0,1]$上で積分可能。また$G:R\to R$を$G\left(t\right)=f\left(\right(a+th)$と定義すると、 $$G^{\prime }\left(t\right)=\sum _{i=1}^n\frac{\partial f}{\partial x_i}(a+th)\cdot \frac{\partial a_i+t{h}_i}{\partial t}=\nabla f(a+th{)}^{T}h$$ ゆえに$[0,1]$上で$G^{\prime }=g$であるので微分積分学の基本定理より $$G\left(1\right)-G\left(0\right)={\int }_0^{1}g\left(t\right)dt\iff f(a+h)-f\left(a\right)={\int }_0^1\nabla f(a+th{)}^{T}hdt$$

0.0.3. 勾配の性質

$f:R\to R$が$C_1$級とする。この時以下は同値

1. $\alpha \le \frac{f\left(x\right)-f\left(x^{\ast }\right)}{x-x^{\ast }}\le \beta \forall x,x^{\ast }\in R$

2. $\alpha \le f^{\prime }\left(x\right)\le \beta \forall x\in R$

(proof)

(1)→(2)は微分の定義より明らかであるので(2)→(1)を示す

$x>x^{\ast }$の時は$f^{\prime }$は連続なので可積分であることに注意すると、微分積分学の基本定理より $$f\left(x\right)=f\left(x^{\ast }\right)+{\int }_{x^{\ast }}^x{f}^{\prime }\left(t\right)dt\le f\left(x^{\ast }\right)+{\int }_{x^{\ast }}^x\beta dt$$ が成立することに注意して計算を進めると1.が示せる。$x<x^{\ast }$も同様に示される。

0.0.4. 逆関数の微分

Let $f$ be a continuous one-one function defined on an interval, and suppose that $f$ is differentiable at $f^{-1}\left(b\right)$, with derivative $f^{\prime }\left(f^{-1}\right(b\left)\right)\ne 0$. Then $f^{-1}$ is differentiable at $b$, and $\left(f^{-1}{)}^{\prime }\right(b)=\frac{1}{f^{\prime }\left(f^{-1}\right(b\left)\right)}$.

証明はCalculusを参照。直感的な覚え方

$f\left(x\right)=y$とすると$f^{-1}\left(y\right)=x$であるので両辺を$x$に関して微分することで、$\left(f^{-1}{)}^{\prime }\right(y\left)f^{\prime }\right(x)=1$より$\left(f^{-1}{)}^{\prime }\right(y)=\frac{1}{f^{\prime }\left(f^{-1}\right(y\left)\right)}$.

0.0.5. ノルムと積分の交換の大小関係

Let $v:[a,b]\to R^m$ be continuous function defined on the interval $[a,b]\subset R$, and $⟨\cdot ,\cdot ⟩$ be an inner product on $R^m$, and $\parallel \cdot \parallel$ is induced norm. Then we have

$\Vert {\int }_a^{b}v\left(t\right)dt\Vert \le {\int }_a^b\parallel v\left(t\right)\parallel dt$

(proof)

まず始めに、$u\equiv {\int }_a^{b}v\left(t\right)dt$と定義した時に以下が成立することを示す。 $$⟨{\int }_a^{b}v\left(t\right)dt,u⟩={\int }_a^b⟨v\left(t\right),u⟩dt$$

$$\begin{array}{cc}⟨{\int }_a^{b}v\left(t\right)dt,u⟩& =\sum _{j=1}^m\left({\int }_a^b{v}_j\right(t\left)dt\right)\cdot u_j\\ & =\sum _{j=1}^m{\int }_a^b{v}_j\left(t\right)u_{j}dt\\ & ={\int }_a^b\sum _{j=1}^m{v}_j\left(t\right)u_{j}dt\\ & ={\int }_a^b⟨v\left(t\right),u⟩dt\end{array}$$

ゆえに、シュバルツの不等式を用いると $$\parallel u{\parallel }^2=⟨u,u⟩=⟨{\int }_a^{b}v\left(t\right)dt,u⟩={\int }_a^b⟨v\left(t\right),u⟩dt\le {\int }_a^b\parallel v\left(t\right)\parallel \cdot \parallel u\parallel dt=\parallel u\parallel {\int }_a^b\parallel v\left(t\right)\parallel dt$$

0.0.6. 多変量ベクトル値関数のリプシッツ性

Let $f:R^m\to R^n$ be continuously differentiable, and $\parallel \cdot \parallel$ be Frobenius norm for any matrix and vector. Then

$\parallel f\left(x\right)-f\left(y\right)\parallel \le ({sup}_{w\in R^m}\parallel Df(w)\parallel )\parallel x-y\parallel$

Where $Df\left(w\right)$ is the Jacobian matrix at $w$, i.e, $(i,j)$ element of $Df\left(w\right)$ is represented by $Df(w{)}_{ij}=\frac{\partial f_i}{\partial w_j}$ where $f=(f_1,\dots ,f_n{)}^T$

(proof)

任意に$x,y\in R^m$をとり、$h:[0,1]\to R^n$を$h\left(\theta \right)=f(y+\theta (x-y\left)\right)$と定義する。この時、微分の連鎖律より $$h^{\prime }\left(\theta \right)=Df(y+\theta (x-y\left)\right)(x-y)$$ となる。ゆえに、$h_i$のそれぞれに対して微分積分学の基本定理を適応すると、 $$f\left(x\right)-f\left(y\right)=h\left(1\right)-h\left(0\right)={\int }_0^1{h}^{\prime }\left(t\right)dt=\left({\int }_0^{1}Df\right(y+t(x-y)\left)dt\right)(x-y)$$ また、フロベニウスノルムは両立するノルムであることと、内積から誘導されるノルムにおいてはノルムと積分の交換した場合に大小関係が定まることを考慮すると、 $$\begin{array}{cc}\parallel f\left(x\right)-f\left(y\right)\parallel & \le \Vert {\int }_0^{1}Df(y+t(x-y\left)\right)dt\Vert \parallel x-y\parallel \\ & \le ({\int }_0^1\parallel Df(y+t(x-y))\parallel dt)\parallel x-y\parallel \\ & \le (\underset{w\in R^m}{sup}\parallel Df(w)\parallel )\parallel x-y\parallel \end{array}$$ 参考資料 3.12