M.1.3 神經網路的數學基礎-張量進階

01-29

張量概念的延伸

首先將前幾章提到的張量的形式作總結（對於坐標變換 $x_i=x_i(z_1,z_2,cdots,z_n)$ ）給出數組 $bold{T}^{i_1,cdots,i_p}_{j_1,cdots,j_q}$ 若其滿足如下的變換方式：

$bold{T}^{i_1,cdots,i_p}_{j_1,cdots,j_q}n=nbold{T}^{k_1,cdots,l_p}_{l_1,cdots,l_q}nfrac{partial x_{i_1}}{partial z_{k_1}}ncdotsnfrac{partial x_{i_p}}{partial z_{k_p}}nfrac{partial z_{l_1}}{partial x_{j_1}}ncdotsnfrac{partial z_{l_q}}{partial x_{j_q}}$

則稱上述為p+q階的(p,q)型張量。

回顧之前提過的幾種張量：

$bold{A} = (a_{ij}) = (frac{partial z_i}{partial x_j})&&bold{At}=bold{A}^Tnbold{B} =(b_{ij})= (frac{partial x_i}{partial z_j})&&bold{Bt}=bold{B}^T$

對於坐標變換，進行如下的變換(公式為矩陣相乘)n1.標量 (0階張量)n不變化n2.向量v ((1,0)型1階張量)n變換方式為v=Avn3.余向量m ((0,1)型1階張量)n變換方式為m=mBn4.向量內積G ((0,2)型2階張量)n變換方式為G=AtGAn5.余向量內積Gm ((2,0)型2階張量)n變換方式為Gm=BGmBtn6.向量線性運算元L ((1,1)型2階張量)n變換方式為L=BLAn

這裡注意，所有的張量的是從屬於空間內某一個點的對象。但其定義方式是微分形式的，是空間點和其鄰域。

這裡將空間中的坐標基以不同方式表示，向量坐標基為 $e_i$ ,余向量的坐標基為 $e^i$ ,二者指標位置不同，代表單層的坐標變換方式不同。

這樣寫是方便的，對於任意張量可表示為：

$bold{T}n=nT^{i_1,cdots,i_p}_{j_1,cdots,j_q}ne_{i_1}otimes cdotsotimes e_{i_p}otimesne^{j_1}otimes cdotsotimes e^{j_q}$

將 $e_{i_1}otimes cdotsotimes e_{i_p}otimesne^{j_1}otimes cdotsotimes e^{j_p}$ 稱為(p,q)型張量的線性空間的坐標基，這裡單位基向量是不能交換順序的。

張量的三個運算

張量的運算比較重要的由三個

第一種為指標置換，說的明白一點就是對 $T^{i_1,cdots,i_p}_{j_1,cdots,j_p}$ 中的i或者j指標的順序進行置換，置換方式用函數表示 $sigma(n)$ 。

$tilde{T}^{i_1,cdots,i_p}_{j_1,cdots,j_q}=n{T}^{sigma(i_1,cdots,i_p)}_{j_1,cdots,j_q}ntilde{T}^{i_1,cdots,i_p}_{j_1,cdots,j_q}=n{T}^{i_1,cdots,i_p}_{sigma(j_1,cdots,j_q)}$

第二種為縮並，對於指標 $(i_k,j_l)$ 縮並指的是：

$tilde{T}^{i_1,cdots,i_{p-1}}_{j_1,cdots,j_{q-1}}=n{T}^n{i_1,cdots,i_{k-1},i,i_{k+1},cdots,i_p}n_{j_1,cdots,j_{l-1},i,j_{l+1},cdots,j_q}$

相同指標代表對於相應指標求和。

第三種為張量乘積，如果給出(p,q),(k,l)兩個張量T,P，其乘積記為

$bold{S}=bold{T}otimes bold{P}$

注意張量乘積是有順序的，距離來說向量和線性運算元的乘積

$bold{T} = bold{A}vec{xi}$

因為向量微分運算元為(1,1)型張量，向量為(1,0)型張量，所以二者乘積T為(2,1)型3階張量。對其進行縮並運算

$eta^k=sum_{i=1}^nT^{ik}_i$

則得到一個向量。這裡是對向量應用線性微分運算元。

舉個例子吧：

柱坐標變換的例子：

$x=r cos(theta)ny=r sin(theta)nz=z_1$

我們做個函數的梯度：

$nabla_{Cylindrical} f=(A^T)^{-1}nabla_x f$

變換後為：

$[cos (theta ) frac{partial f(r,theta ,z)}{partial x}-frac{sin (theta ) {partial f(r,theta ,z)}/{partial theta}(r,theta ,z)}{r}nsin (theta ) frac{partial f(r,theta ,z)}{partial x}+frac{cos (theta ) {partial f(r,theta ,z)}/{partial theta}}{r}nfrac{partial f(r,theta,z)}{partial z}(r,theta ,z)]$

這個分量是在原來的xyz坐標之下的分量，顯然對於柱坐標需要的是一個旋轉：

$left(nbegin{array}{ccc}n cos (theta ) & -sin (theta ) & 0 n sin (theta ) & cos (theta ) & 0 n 0 & 0 & 1 nend{array}nright)$

相乘之後得到柱坐標之下梯度：

$[frac{partial f(r,theta,z)}{partial r},frac{1}{r}frac{partial f(r,theta,z)}{partial r},frac{partial f(r,theta,z)}{partial r}]$
推薦閱讀：

※微分流形（上）
※已知任意三角形的角平分線長度，求作這個三角形？
※Tropical geometry、mirror symmetry 是研究什麼？
※微分形式

TAG:神经网络 | 几何学 | 微分几何 |