深度學習讀書筆記第一部分線性代數

03-03

簡單的概念不在此過多複述，會介紹一些符號和相關英文專有名詞（文章最後）並且一部分解釋會關聯到機器學習的一些小概念，個人強烈推薦文章末的擴展閱讀來幫助你獲得更深的線性代數理解

推薦公開課：MIT線性代數

官方鏈接

Linear Algebraocw.mit.edu

網易公開課版本

麻省理工公開課：線性代數_全35集_網易公開課open.163.com

（吐槽：高等數學教材中的凹凸函數和英文語義中的凹凸正好相反，所以有閱讀論文或者是一些其他的相關意向時一定要注意這點，多積累相關名詞）

一向量乘法矩陣與向量乘法矩陣乘法

向量乘法

向量乘法分為點積(Scalar Product/dot product/a·b)和外積(Cross Product/Vector Product/a×b)*兩種

點積的兩種理解方式

代數定義

這裡的Σ是求和符號，而n是向量空間的維數

幾何定義

這裡 |x| 表示向量x的模（長度），θ表示兩個向量之間的角度。

註：點積是內積的一種特殊形式，內積和外積目前超出深度學習的討論範圍，將在kaggle競賽結束後補充，列出此名詞只是為了防止讀者將其弄混。

矩陣乘法

為了使矩陣乘法具有意義規定：C=AB中 A的列數等於B的行數，在前饋網路(FB)中B的行數可理解為為上一層（或輸入層的數據特徵數量，）然後A的列數是網路將要提取出的新的特徵數量。

矩陣與向量乘法

可以理解為線性組合linear combination $Sigma_{i}c_{i}v^{(i)}$

二單位矩陣和逆矩陣

單位矩陣I為方陣切對角線上元素均為1 其餘位置為0

Example identity matrix: This is I .

逆矩陣滿足 $A^{-1}A=I_{n}$

所以在求解線性組合的時候逆矩陣有著重要的作用，理由如下

Ax = b ---> $A^{-1}$ Ax = $A^{-1}$ b ---> $I_{n}$ x = $A^{-1}$ b ---> x = $A^{-1}$ b

逆矩陣解法(周四晚更新)

三線性相關和生成子空間

在解釋具體的概念之前先介紹『空間』是什麼，上，空間是指一種具有特殊性質及一些額外結構的集合，但不存在單稱為「空間」的數學對象。在某一給定的空間中，空間中的所有元素嚴格遵守空間法則。eg：賦以某種結構的集合，向量空間，仿射空間，度量空間，等等。

線性相關linear dependence 即冗餘，一組向量中的某個或某些向量可以被其他向量的線性組合所得到，反之稱其為linear independence

生成子空間span 是指向量再經過線性組合之後所能到達的點的集合

擴展閱讀

點積

https://zh.wikipedia.org/wiki/%E7%82%B9%E7%A7%AFzh.wikipedia.org

矩陣乘法的理解方式（本周四晚更新）

偽逆

廣義逆陣（Generalized inverse）又稱偽逆，是對逆陣的推廣。一般所說的偽逆是指摩爾－彭若斯廣義逆，它是由E. H. Moore和Roger Penrose分別獨立提出的。偽逆在求解線性最小二乘問題中有重要應用。

關於空間還是懵逼？推薦從向量空間中舉一反三

https://zh.wikipedia.org/wiki/%E5%90%91%E9%87%8F%E7%A9%BA%E9%97%B4zh.wikipedia.org

深度學習讀書筆記 第一部分 線性代數

一 向量乘法 矩陣與向量乘法 矩陣乘法

二 單位矩陣和逆矩陣

三 線性相關和生成子空間

相關名詞

擴展閱讀

深度學習讀書筆記第一部分線性代數

一向量乘法矩陣與向量乘法矩陣乘法

二單位矩陣和逆矩陣

三線性相關和生成子空間