圖解機器學習的數學基礎：線性代數，微積分，PCA的直覺(完結)

05-14

原課程specialization：Imperial College of London, Math for Machine Learning

深度學習所需的數學，Ian Goodfellow 的「花書「是」蜻蜓點水「，默認大家已經學過了；Khanacademy 潛心為所有人從0開始講解，但感覺太耗時；Imperial College London這門課是為機器學習量身定製，可能是恰到好處！

1、圖解學習linear algebra目的：高效求解大量linear equations

2、圖解學習linear algebra目的：高效求解模型參數擬合大量數據

3、圖解線性代數：線代如何切入幫助解決模型優化

4、圖解線性代數：向量的本質和加乘運算

5、圖解線性代數：vector length and dot product

6、圖解線性代數：vector dot product, length, cosine

7、圖解線性代數：scalar projection, vector projection

8、圖解線性代數：vector projection 與 vector transformation

9、圖解線性代數：linear combination, independence, basis vector

10、圖解線性代數：vector, projection, basis vector在機器學習中的應用11、圖解線性代數：matrix簡介

12、圖解線性代數：用映射projection來理解matrix的變形能力

13、圖解線性代數：機器學習的本質與matrix transformation的各種形態

14、圖解線性代數：matrix疊加變形的直觀理解

15、圖解線性代數：inverse與identity matrix的理解和求解

16、圖解線性代數：determinant, inverse, dependence, solution

17、圖解線性代數：einstein summation convention and dot product的對稱性

18、圖解線性代數：我的視野里的vector, basis vector在panda的視野里長得什麼樣子

19、圖解線性代數：案例熊貓與人類的視野轉換

20、圖解線性代數：如何理解orthogonal matrix

21、圖解線性代數：gram-schmidt與轉換坐標空間來實現vector變形

22、圖解線性代數：eigenvectors and eigenvalues

23、圖解線性代數：eigenvectors and eigenvalues的求解邏輯

24、圖解線性代數：用eigenvector, eigenvalues化簡n個matrix的疊加變形計算

25、圖解微積分：什麼是函數，為什麼說數學就是一門語言，微積分是幹什麼用的

26、圖解微積分：如何直觀理解calculus研究的輸入值與輸出值之間的變化關係

27、圖解微積分：對derivative和gradient定義的直觀理解

28、圖解微積分：如何用sum和power規則來計算函數的derivative

29、圖解微積分：特殊函數讓多重derivative計算變得簡單高效

30、圖解微積分：2個函數相乘的複合函數的derivative推導過程(product rule)

31、圖解微積分：chain rule多個函數套用的複合函數的derivative高效計算的直覺理解

32、圖解微積分：如何用sum, product, power, chain rules解決看似極複雜的函數的derivative

33、圖解微積分：如何直觀理解independent, dependent variables, constant, 以及多變數函數的derivative的求解邏輯

34、圖解微積分：直觀理解total derivative的用途和構造

35、圖解微積分：直觀理解Jacobian的用途和構造

36、圖解微積分：如何理解Jacobian matrix結構和用途

37、圖解微積分：如何理解Jacobian在尋找函數全局和局部大小值時存在近視問題

38、圖解微積分：如何理解Hessian matrix結構和用途

39、圖解微積分：為什麼深度學習中Jacobian hessian用不上而必須用numeric method

40、圖解微積分：如何用Jacobian vector matrix解多個函數疊套且每個函數有多個變數的derivative

41、圖解微積分：如何實現從神經網路圖譜到vector matrix計算公式的轉化（正向傳遞）

42、圖解微積分：Jacobian vector matrix高效完成神經網路反向傳遞的邏輯和計算流程

43、圖解微積分：引入Taylor series

44、圖解微積分：maclaurin series的構造(Taylor series的特殊版)

45、圖解微積分：Taylor series構造的由來

46、圖解微積分：maclaurin, taylor series 案例求解

47、圖解微積分：Expected error and multivariate taylor

圖解PCA

圖解機器學習：為什麼要對數據做降維和壓縮，可視化有助於理解壓縮後的維度內涵

課程：Motivation I_ Data Compression Motivation II_ Visualization
筆記：為什麼要對數據做降維和壓縮，可視化有助於理解壓縮後的維度內涵

圖解機器學習：如何理解PCA是一種projection降維的最優方案以及PCA的演算法邏輯

課程：Principal Component Analysis Problem Formulation
課程：Principal Component Analysis Algorithm
筆記：如何理解PCA是一種projection降維的最優方案以及PCA的演算法邏輯

圖解機器學習：PCA是如何通過K尋找最優的降維幅度的

課程：Choosing the Number of Principal Components
筆記：PCA是如何通過K尋找最優的降維幅度的

圖解機器學習：如何理解PCA中的U_reduce, x, z, x_approximation的關係

課程：Reconstruction from Compressed Representation
筆記：如何理解PCA中的U_reduce, x, z, x_approximation的關係

圖解機器學習：實際模型訓練中如何正確使用PCA和規避常見錯誤用法

課程： Advice for Applying PCA
筆記：實際模型訓練中如何正確使用PCA和規避常見錯誤用法