Fisher Linear Discriminant Analysis(Fisher線性判別分析)

02-24

本篇Notes的大致思路為：

第一部分:以PCA為引子,引入FLD並比較二者差別

1.FLD屬於一種降維的演算法,提到FLD的時候我們毫無疑問會首先想到與最經典的降維方法PCA進行比較.本文以PCA為引子引入FLD,並比較二者之間的關係與差別.FLD屬於有監督的降維方法,降維之後的特徵具有較好的判別性,與label的相關性較高,而PCA的目的是為了儘可能保留特徵的信息,PCA中的一種優化策略就是最小化重構誤差,這樣看來PCA和FLD雖然同屬於線性降維的方法,但是因為FLD是有監督的,所以很多分類演算法中我們常常會使用FLD,透露一下,我曾經在做量化選股的時候也曾使用過FLD,效果至少從準確率上超過了很多模型,確實不錯!

第二部分:用於二分類的FLD演算法

既然FLD可以用來做二分類問題,那麼這背後的原理機制又是什麼呢?這一節開始重點介紹FLD的動機以及它的內在的核心原理,包括假設和數學推導等內容.

具體地,

1.FLD演算法的motivation，希望能尋找到投影方向，使得相同類在投影后儘可能的緊和近（variance），不同類之間儘可能的遠(均值的絕對值);

2.將這種motivation用數學形式進行衡量，中間介紹了scatter，covariance矩陣等概念（注意他們之間的關係與區別），最終確立我們的優化目標式子；

3.通過數學之間的運算，最後給出了二類問題中FLD的一種快速求解方法.當然了,因為FLD關於二分類的優化演算法中出現了矩陣的逆,自然就會出現矩陣不可逆的情況,所以演算法最後補充了當矩陣不可逆時的情景.

第三部分:將原始的二分類的FLD演算法拓展到多分類問題中

將原來的二類問題擴展到多類問題中,在整體框架一樣的情況下,改變了同類之間的距離以及異類之間的距離的計算公式，但是原理與二分類一樣,簡單易懂,求解方法也是順延了二分類時的結論,求解方法的核心還是在於矩陣的可逆與否。

文章鏈接：Fisher Linear Discriminant Analysis

做的ppt鏈接：https://pan.baidu.com/s/1skMQZrJ