機器學習的數學基礎-（未完待續）

05-03

本文將分為高等數學、線性代數、概率論與數理統計三部分，所有公式為考研和考博時候使用的參考書所記錄，部分來源於網路。

一、高等數學

1.導數定義：

導數和微分的概念

$f({{x}_{0}})=underset{Delta x o 0}{mathop{lim }},frac{f({{x}_{0}}+Delta x)-f({{x}_{0}})}{Delta x}$ （1）

或者：

$f({{x}_{0}})=underset{x o {{x}_{0}}}{mathop{lim }},frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}}$ （2）

2.左右導數導數的幾何意義和物理意義

函數 $f(x)$ 在 $x_0$ 處的左、右導數分別定義為：

左導數： ${{{f}}_{-}}({{x}_{0}})=underset{Delta x o {{0}^{-}}}{mathop{lim }},frac{f({{x}_{0}}+Delta x)-f({{x}_{0}})}{Delta x}=underset{x o x_{0}^{-}}{mathop{lim }},frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}},(x={{x}_{0}}+Delta x)$

右導數： ${{{f}}_{+}}({{x}_{0}})=underset{Delta x o {{0}^{+}}}{mathop{lim }},frac{f({{x}_{0}}+Delta x)-f({{x}_{0}})}{Delta x}=underset{x o x_{0}^{+}}{mathop{lim }},frac{f(x)-f({{x}_{0}})}{x-{{x}_{0}}}$

3.函數的可導性與連續性之間的關係

Th1: 函數 $f(x)$ 在 $x_0$ 處可微 $Leftrightarrow f(x)$ 在 $x_0$ 處可導

Th2: 若函數在點 $x_0$ 處可導，則 $y=f(x)$ 在點 $x_0$ 處連續，反之則不成立。即函數連續不一定可導。

Th3: ${f}({{x}_{0}})$ 存在 $Leftrightarrow {{{f}}_{-}}({{x}_{0}})={{{f}}_{+}}({{x}_{0}})$

4.平面曲線的切線和法線

切線方程 : $y-{{y}_{0}}=f({{x}_{0}})(x-{{x}_{0}})$ 法線方程： $y-{{y}_{0}}=-frac{1}{f({{x}_{0}})}(x-{{x}_{0}}),f({{x}_{0}}) e 0$

5.四則運演算法則

設函數 $u=u(x)，v=v(x)$ 在點 $x$ 可導則

(1) $(upm v{)}={u}pm {v}$ $d(upm v)=dupm dv$

(2) $(uv{)}=u{v}+v{u}$ $d(uv)=udv+vdu$

(3) $(frac{u}{v}{)}=frac{v{u}-u{v}}{{{v}^{2}}}(v e 0)$ $d(frac{u}{v})=frac{vdu-udv}{{{v}^{2}}}$

6.基本導數與微分表

(1) $y=c$ （常數）

${y}=0$ ， $dy=0$

(2) $y={{x}^{alpha }}$ ( $alpha$ 為實數)

${y}=alpha {{x}^{alpha -1}}$ ， $dy=alpha {{x}^{alpha -1}}dx$

(3) $y={{a}^{x}}$

${y}={{a}^{x}}ln a$ ， $dy={{a}^{x}}ln adx$

特例: $({{{e}}^{x}}{)}={{{e}}^{x}}$ ， $d({{{e}}^{x}})={{{e}}^{x}}dx$

(4) ${y}=frac{1}{xln a}$

$dy=frac{1}{xln a}dx$

特例: $y=ln x$ ， $(ln x{)}=frac{1}{x}$ ， $d(ln x)=frac{1}{x}dx$

(5) $y=sin x$

${y}=cos x$ ， $d(sin x)=cos xdx$ ， $y=cos x$

(6) $y=cos x$

${y}=-sin x$ ， $d(cos x)=-sin xdx$

(7) $y= an x$

${y}=frac{1}{{{cos }^{2}}x}={{sec }^{2}}x$ ， $d( an x)={{sec }^{2}}xdx$

(8) $y=cot x$

${y}=-frac{1}{{{sin }^{2}}x}=-{{csc }^{2}}x$ ， $d(cot x)=-{{csc }^{2}}xdx$

(9) $y=sec x$

${y}=sec x an x$ ， $d(sec x)=sec x an xdx$

(10) $y=csc x$

${y}=-csc xcot x$ ， $d(csc x)=-csc xcot xdx$

(11) $y=arcsin x$

${y}=frac{1}{sqrt{1-{{x}^{2}}}}$ ， $d(arcsin x)=frac{1}{sqrt{1-{{x}^{2}}}}dx$

(12) $y=arccos x$

${y}=-frac{1}{sqrt{1-{{x}^{2}}}}$ ， $d(arccos x)=-frac{1}{sqrt{1-{{x}^{2}}}}dx$

(13) $y=arctan x$

${y}=frac{1}{1+{{x}^{2}}}$ ， $d(arctan x)=frac{1}{1+{{x}^{2}}}dx$

(14) $y=operatorname{arc}cot x$

${y}=-frac{1}{1+{{x}^{2}}}$ ， $d(operatorname{arc}cot x)=-frac{1}{1+{{x}^{2}}}dx$

(15) $y=shx$

${y}=chx$ ， $d(shx)=chxdx$

(16) $y=chx$

${y}=shx$ ， $d(chx)=shxdx$

7.複合函數，反函數，隱函數以及參數方程所確定的函數的微分法

(1) 反函數的運演算法則: 設 $y=f(x)$ 在點 $x$ 的某鄰域內單調連續，在點 $x$ 處可導且 ${f}(x) e 0$ ，則其反函數在點 $x$ 所對應的 $y$ 處可導，並且有 $frac{dy}{dx}=frac{1}{frac{dx}{dy}}$

(2) 複合函數的運演算法則:若 $mu =varphi (x)$ 在點 $x$ 可導,而 $y=f(mu )$ 在對應點 $mu$ ( $mu =varphi (x)$ )可導,則複合函數 $y=f(varphi (x))$ 在點 $x$ 可導,且 ${y}={f}(mu )cdot {varphi }(x)$

(3) 隱函數導數 $frac{dy}{dx}$ 的求法一般有三種方法：

1)方程兩邊對 $x$ 求導，要記住 $y$ 是 $x$ 的函數，則 $y$ 的函數是 $x$ 的複合函數。

例如 $frac{1}{y}$ ， ${{y}^{2}}$ ， $ln y$ ， ${{{e}}^{y}}$ 等均是 $x$ 的複合函數。

對 $x$ 求導應按複合函數連鎖法則做。

2)公式法：由 $F(x,y)=0$ 知 $frac{dy}{dx}=-frac{{{{{F}}}_{x}}(x,y)}{{{{{F}}}_{y}}(x,y)}$ ,其中， ${{{F}}_{x}}(x,y)$ ，
${{{F}}_{y}}(x,y)$ 分別表示 $F(x,y)$ 對 $x$ 和 $y$ 的偏導數

3)利用微分形式不變性

8.常用高階導數公式

（1） $({{a}^{x}}){{,}^{(n)}}={{a}^{x}}{{ln }^{n}}aquad (a>{0})quad quad ({{{e}}^{x}}){{,}^{(n)}}={e}{{,}^{x}}$

（2） $(sin kx{)}{{,}^{(n)}}={{k}^{n}}sin (kx+ncdot frac{pi }{{2}})$

（3） $(cos kx{)}{{,}^{(n)}}={{k}^{n}}cos (kx+ncdot frac{pi }{{2}})$

（4） $({{x}^{m}}){{,}^{(n)}}=m(m-1)cdots (m-n+1){{x}^{m-n}}$

（5） $(ln x){{,}^{(n)}}={{(-{1})}^{(n-{1})}}frac{(n-{1})!}{{{x}^{n}}}$

（6）萊布尼茲公式：若 $u(x),,v(x)$ 均 $n$ 階可導，則

${{(uv)}^{(n)}}=sumlimits_{i={0}}^{n}{c_{n}^{i}{{u}^{(i)}}{{v}^{(n-i)}}}$ ，其中 ${{u}^{({0})}}=u$ ， ${{v}^{({0})}}=v$

9.微分中值定理，，泰勒公式

Th1:(費馬定理)

若函數 $f(x)$ 滿足條件：

(1)函數 $f(x)$ 在 ${{x}_{0}}$ 的某鄰域內有定義，並且在此鄰域內恆有：

$f(x)le f({{x}_{0}})$ 或 $f(x)ge f({{x}_{0}})$ ,

(2) $f(x)$ 在 ${{x}_{0}}$ 處可導,則有 ${f}({{x}_{0}})=0$

Th2:(羅爾定理)

設函數 $f(x)$ 滿足條件：

(1)在閉區間 $[a,b]$ 上連續；

(2)在 $(a,b)$ 內可導，

則在 $(a,b)$ 內存在一個 $xi$ ，使 ${f}(xi )=0$

Th3: (拉格朗日中值定理)

設函數 $f(x)$ 滿足條件：

(1)在 $[a,b]$ 上連續；

(2)在 $(a,b)$ 內可導；

則在 $(a,b)$ 內存在一個 $xi$ ，使 $frac{f(b)-f(a)}{b-a}={f}(xi )$

Th4: (柯西中值定理)

設函數 $f(x)$ ， $g(x)$ 滿足條件：

(1) 在 $[a,b]$ 上連續；

(2) 在 $(a,b)$ 內可導且 ${f}(x)$ ， ${g}(x)$ 均存在，且 ${g}(x) e 0$

則在 $(a,b)$ 內存在一個 $xi$ ，使 $frac{f(b)-f(a)}{g(b)-g(a)}=frac{{f}(xi )}{{g}(xi )}$

10.洛必達法則

法則Ⅰ ( $frac{0}{0}$ 型)

設函數 $fleft( x ight),gleft( x ight)$ 滿足條件：

$underset{x o {{x}_{0}}}{mathop{lim }},fleft( x ight)=0,underset{x o {{x}_{0}}}{mathop{lim }},gleft( x ight)=0$ ;

$fleft( x ight),gleft( x ight)$ 在 ${{x}_{0}}$ 的鄰域內可導，(在 ${{x}_{0}}$ 處可除外)且 ${g}left( x ight) e 0$ ;

$underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$ 存在(或 $infty$ )。

則:

$underset{x o {{x}_{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$ 。

法則 ${{ ext I}}$ ( $frac{0}{0}$ 型)

設函數 $fleft( x ight),gleft( x ight)$ 滿足條件：

$underset{x o infty }{mathop{lim }},fleft( x ight)=0,underset{x o infty }{mathop{lim }},gleft( x ight)=0$ ;

存在一個 $X>0$ ,當 $left| x ight|>X$ 時, $fleft( x ight),gleft( x ight)$ 可導,且 ${g}left( x ight) e 0$ ;

$underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$ 存在(或 $infty$ )。

則:

$underset{x o {{x}_{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$

法則Ⅱ( $frac{infty }{infty }$ 型)

設函數 $fleft( x ight),gleft( x ight)$ 滿足條件：

$underset{x o {{x}_{0}}}{mathop{lim }},fleft( x ight)=infty ,underset{x o {{x}_{0}}}{mathop{lim }},gleft( x ight)=infty$ ; $fleft( x ight),gleft( x ight)$ 在 ${{x}_{0}}$ 的鄰域內可導(在 ${{x}_{0}}$ 處可除外)且 ${g}left( x ight) e 0$ ; $underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$ 存在(或 $infty$ )。

則： $underset{x o {{x}_{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}left( x ight)}{{g}left( x ight)}$ 。同理法則 ${ ext I{ ext I}}$ ( $frac{infty }{infty }$ 型)仿法則 ${{ ext I}}$ 可寫出。

11.泰勒公式

設函數 $f(x)$ 在點 ${{x}_{0}}$ 處的某鄰域內具有 $n+1$ 階導數，則對該鄰域內異於 ${{x}_{0}}$ 的任意點 $x$ ，在 ${{x}_{0}}$ 與 $x$ 之間至少存在一個 $xi$ ，使得： $f(x)=f({{x}_{0}})+{f}({{x}_{0}})(x-{{x}_{0}})+frac{1}{2!}{f}({{x}_{0}}){{(x-{{x}_{0}})}^{2}}+cdots$ $+frac{{{f}^{(n)}}({{x}_{0}})}{n!}{{(x-{{x}_{0}})}^{n}}+{{R}_{n}}(x)$

其中 ${{R}_{n}}(x)=frac{{{f}^{(n+1)}}(xi )}{(n+1)!}{{(x-{{x}_{0}})}^{n+1}}$ 稱為 $f(x)$ 在點 ${{x}_{0}}$ 處的 $n$ 階泰勒余項。

令 ${{x}_{0}}=0$ ，則 $n$ 階泰勒公式： $f(x)=f(0)+{f}(0)x+frac{1}{2!}{f}(0){{x}^{2}}+cdots +frac{{{f}^{(n)}}(0)}{n!}{{x}^{n}}+{{R}_{n}}(x)$ ……(1)

其中 ${{R}_{n}}(x)=frac{{{f}^{(n+1)}}(xi )}{(n+1)!}{{x}^{n+1}}$ ， $xi$ 在0與 $x$ 之間，(1)式稱為麥克勞林公式。

常用五種函數在 ${{x}_{0}}=0$ 處的泰勒公式

(1) ${{{e}}^{x}}=1+x+frac{1}{2!}{{x}^{2}}+cdots +frac{1}{n!}{{x}^{n}}+frac{{{x}^{n+1}}}{(n+1)!}{{e}^{xi }}$

或 $=1+x+frac{1}{2!}{{x}^{2}}+cdots +frac{1}{n!}{{x}^{n}}+o({{x}^{n}})$

(2) $sin x=x-frac{1}{3!}{{x}^{3}}+cdots +frac{{{x}^{n}}}{n!}sin frac{npi }{2}+frac{{{x}^{n+1}}}{(n+1)!}sin (xi +frac{n+1}{2}pi )$

或 $=x-frac{1}{3!}{{x}^{3}}+cdots +frac{{{x}^{n}}}{n!}sin frac{npi }{2}+o({{x}^{n}})$

(3) $cos x=1-frac{1}{2!}{{x}^{2}}+cdots +frac{{{x}^{n}}}{n!}cos frac{npi }{2}+frac{{{x}^{n+1}}}{(n+1)!}cos (xi +frac{n+1}{2}pi )$

或 $=1-frac{1}{2!}{{x}^{2}}+cdots +frac{{{x}^{n}}}{n!}cos frac{npi }{2}+o({{x}^{n}})$

(4) $ln (1+x)=x-frac{1}{2}{{x}^{2}}+frac{1}{3}{{x}^{3}}-cdots +{{(-1)}^{n-1}}frac{{{x}^{n}}}{n}+frac{{{(-1)}^{n}}{{x}^{n+1}}}{(n+1){{(1+xi )}^{n+1}}}$

或 $=x-frac{1}{2}{{x}^{2}}+frac{1}{3}{{x}^{3}}-cdots +{{(-1)}^{n-1}}frac{{{x}^{n}}}{n}+o({{x}^{n}})$

(5) ${{(1+x)}^{m}}=1+mx+frac{m(m-1)}{2!}{{x}^{2}}+cdots +frac{m(m-1)cdots (m-n+1)}{n!}{{x}^{n}}$ $+frac{m(m-1)cdots (m-n+1)}{(n+1)!}{{x}^{n+1}}{{(1+xi )}^{m-n-1}}$

或 ${{(1+x)}^{m}}=1+mx+frac{m(m-1)}{2!}{{x}^{2}}+cdots +frac{m(m-1)cdots (m-n+1)}{n!}{{x}^{n}}+o({{x}^{n}})$

12.函數單調性的判斷

Th1: 設函數 $f(x)$ 在 $(a,b)$ 區間內可導，如果對 $forall xin (a,b)$ ，都有 $f,(x)>0$ （或 $f,(x)<0$ ），

則函數 $f(x)$ 在 $(a,b)$ 內是單調增加的（或單調減少）。

Th2: （取極值的必要條件）設函數 $f(x)$ 在 ${{x}_{0}}$ 處可導，且在 ${{x}_{0}}$ 處取極值，

則 $f,({{x}_{0}})=0$ 。

Th3: （取極值的第一充分條件）設函數 $f(x)$ 在 ${{x}_{0}}$ 的某一鄰域內可微，且 $f,({{x}_{0}})=0$ （或 $f(x)$ 在 ${{x}_{0}}$ 處連續，但 $f,({{x}_{0}})$ 不存在。）

(1) 若當 $x$ 經過 ${{x}_{0}}$ 時， $f,(x)$ 由「+」變「-」，則 $f({{x}_{0}})$ 為極大值；

(2) 若當 $x$ 經過 ${{x}_{0}}$ 時， $f,(x)$ 由「-」變「+」，則 $f({{x}_{0}})$ 為極小值；

(3) 若 $f,(x)$ 經過 $x={{x}_{0}}$ 的兩側不變號，則 $f({{x}_{0}})$ 不是極值。

Th4: (取極值的第二充分條件)設 $f(x)$ 在 ${{x}_{0}}$ 處有 $f(x) e 0$ ，且 $f,({{x}_{0}})=0$ ，則:

當 $f,({{x}_{0}})<0$ 時， $f({{x}_{0}})$ 為極大值；

當 $f,({{x}_{0}})>0$ 時， $f({{x}_{0}})$ 為極小值。

註：如果 $f,({{x}_{0}})<0$ ，此方法失效。

13.漸近線的求法

(1)水平漸近線

若 $underset{x o +infty }{mathop{lim }},f(x)=b$ ，或 $underset{x o -infty }{mathop{lim }},f(x)=b$ ，則

$y=b$ 稱為函數 $y=f(x)$ 的水平漸近線。

(2)鉛直漸近線

若 $underset{x o x_{0}^{-}}{mathop{lim }},f(x)=infty$ ，或 $underset{x o x_{0}^{+}}{mathop{lim }},f(x)=infty$ ，則

$x={{x}_{0}}$ 稱為 $y=f(x)$ 的鉛直漸近線。

(3)斜漸近線

若 $a=underset{x o infty }{mathop{lim }},frac{f(x)}{x},quad b=underset{x o infty }{mathop{lim }},[f(x)-ax]$ ，則

$y=ax+b$ 稱為 $y=f(x)$ 的斜漸近線。

14.函數凹凸性的判斷

Th1: (凹凸性的判別定理）若在I上 $f(x)<0$ （或 $f(x)>0$ ），則 $f(x)$ 在I上是凸的（或凹的）。

Th2: (拐點的判別定理1)若在 ${{x}_{0}}$ 處 $f(x)=0$ ，（或 $f(x)$ 不存在），當 $x$ 變動經過 ${{x}_{0}}$ 時， $f(x)$ 變號，則 $({{x}_{0}},f({{x}_{0}}))$ 為拐點。

Th3: (拐點的判別定理2)設 $f(x)$ 在 ${{x}_{0}}$ 點的某鄰域內有三階導數，且 $f(x)=0$ ， $f(x) e 0$ ，則 $({{x}_{0}},f({{x}_{0}}))$ 為拐點。

15.弧微分

$dS=sqrt{1+y{{}^{2}}}dx$

16.曲率

曲線 $y=f(x)$ 在點 $(x,y)$ 處的曲率 $k=frac{left| y ight|}{{{(1+y{{}^{2}})}^{ frac{3}{2}}}}$ 。

對於參數方程 $left{ egin{align} & x=varphi (t) \ & y=psi (t) \ end{align} ight.,$ $k=frac{left| varphi (t)psi (t)-varphi (t)psi (t) ight|}{{{[varphi {{}^{2}}(t)+psi {{}^{2}}(t)]}^{ frac{3}{2}}}}$ 。

17.曲率半徑

曲線在點 $M$ 處的曲率 $k(k e 0)$ 與曲線在點 $M$ 處的曲率半徑 $ho$ 有如下關係： $ho =frac{1}{k}$ 。

二、線性代數

行列式

1.行列式按行（列）展開定理

(1) 設 $A = ( a_{{ij}} )_{n imes n}$ ，則： $a_{i1}A_{j1} +a_{i2}A_{j2} + cdots + a_{{in}}A_{{jn}} = egin{cases}|A|,i=j\ 0,i eq jend{cases}$

或 $a_{1i}A_{1j} + a_{2i}A_{2j} + cdots + a_{{ni}}A_{{nj}} = egin{cases}|A|,i=j\ 0,i eq jend{cases}$ ，即 $AA^{*} = A^{*}A = left| A ight|E$ ，

其中： $A^{*} = egin{pmatrix} A_{11} & A_{12} & ldots & A_{1n} \ A_{21} & A_{22} & ldots & A_{2n} \ ldots & ldots & ldots & ldots \ A_{n1} & A_{n2} & ldots & A_{{nn}} \ end{pmatrix} = (A_{{ji}}) = {(A_{{ij}})}^{T}$

$D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 \ x_{1} & x_{2} & ldots & x_{n} \ ldots & ldots & ldots & ldots \ x_{1}^{n - 1} & x_{2}^{n - 1} & ldots & x_{n}^{n - 1} \ end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j})$

(2) 設 $A,B$ 為 $n$ 階方陣，則 $left| {AB} ight| = left| A ight|left| B ight| = left| B ight|left| A ight| = left| {BA} ight|$ ，但 $left| A pm B ight| = left| A ight| pm left| B ight|$ 不一定成立。

(3) $left| {kA} ight| = k^{n}left| A ight|$ , $A$ 為 $n$ 階方陣。

(4) 設 $A$ 為 $n$ 階方陣， $|A^{T}| = |A|;|A^{- 1}| = |A|^{- 1}$ （若 $A$ 可逆）， $|A^{*}| = |A|^{n - 1}$

$n geq 2$

(5) $left| egin{matrix} & {Aquad O} \ & {Oquad B} \ end{matrix} ight| = left| egin{matrix} & {Aquad C} \ & {Oquad B} \ end{matrix} ight| = left| egin{matrix} & {Aquad O} \ & {Cquad B} \ end{matrix} ight| =| A||B|$

， $A,B$ 為方陣，但 $left| egin{matrix} {O} & A_{m imes m} \ B_{n imes n} & { O} \ end{matrix} ight| = ({- 1)}^{{mn}}|A||B|$ 。

(6) 范德蒙行列式 $D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 \ x_{1} & x_{2} & ldots & x_{n} \ ldots & ldots & ldots & ldots \ x_{1}^{n - 1} & x_{2}^{n 1} & ldots & x_{n}^{n - 1} \ end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j})$

設 $A$ 是 $n$ 階方陣， $lambda_{i}(i = 1,2cdots,n)$ 是 $A$ 的 $n$ 個特徵值，則

$|A| = prod_{i = 1}^{n}lambda_{i}$

矩陣

矩陣： $m imes n$ 個數 $a_{{ij}}$ 排成 $m$ 行 $n$ 列的表格 $egin{bmatrix} a_{11}quad a_{12}quadcdotsquad a_{1n} \ a_{21}quad a_{22}quadcdotsquad a_{2n} \ quadcdotscdotscdotscdotscdots \ a_{m1}quad a_{m2}quadcdotsquad a_{{mn}} \ end{bmatrix}$ 稱為矩陣，簡記為 $A$ ，或者 $left( a_{{ij}} ight)_{m imes n}$ 。若 $m = n$ ，則稱 $A$ 是 $n$ 階矩陣或 $n$ 階方陣。

(未完待續，後續更新線性代數和概率論......)