奇異值的物理意義是什麼?
我以前看過吳軍的數學之美,現在讓我們來看看奇異值分解是怎麼回事。
首先,我們可以用一個大矩陣A來描述這一百萬篇文章和五十萬詞的關聯性。這個矩陣中,每一行對應一篇文章,每一列對應一個詞。
在上面的圖中,M=1,000,000,N=500,000。第i行,第j列的元素,是字典中第j個詞在第i篇文章中出現的加權詞頻讀者可能已經注意到了,這個矩陣非常大,有一百萬乘以五十萬,即五千億個元素。
奇異值分解就是把上面這樣一個大矩陣,分解成三個小矩陣相乘,如下圖所示。比如把上面的例子中的矩陣分解成一個一百萬乘以一百的矩陣X,一個一百乘以一百的矩陣B,和一個一百乘以五十萬的矩陣Y。這三個矩陣的元素總數加起來也不過1.5億,僅僅是原來的三千分之一。相應的存儲量和計算量都會小三個數量級以上。
三個矩陣有非常清楚的物理含義:
矩陣X中的每一行表示意思相關的一類詞,其中的每個非零元素表示這類詞中每個詞的重要性(或者說相關性),數值越大越相關。
矩陣Y中的每一列表示同一主題一類文章,其中每個元素表示這類文章中每篇文章的相關性。
矩陣B則表示類詞和文章之間的相關性。因此,我們只要對關聯矩陣A進行一次奇異值分解,我們就可以同時完成了近義詞分類和文章的分類。
1、我覺得首先要弄清楚什麼是奇異值,矩陣的奇異值是一個數學意義上的概念,一般是由奇異值分解(Singular Value Decomposition,簡稱SVD分解)得到。如果要問奇異值表示什麼物理意義,那麼就必須考慮在不同的實際工程應用中奇異值所對應的含義。
2、奇異值往往對應著矩陣中隱含的重要信息,且重要性和奇異值大小正相關。每個矩陣A都可以表示為一系列秩為1的「小矩陣」之和,而奇異值則衡量了這些「小矩陣」對於A的權重。在圖像處理領域,奇異值不僅可以應用在數據壓縮上,還可以對圖像去噪。如果一副圖像包含雜訊,我們有理由相信那些較小的奇異值就是由於雜訊引起的。當我們強行令這些較小的奇異值為0時,就可以去除圖片中的雜訊。
3、另外的話,我覺得奇異值分解還廣泛的用於主成分分析(Principle Component Analysis,簡稱PCA)和推薦系統(如Netflex的電影推薦系統)等。在這些應用領域,奇異值也有相應的意義。考慮題主在問題描述中的敘述:「把m*n矩陣看作從m維空間到n維空間的一個線性映射,是否:各奇異向量就是坐標軸,奇異值就是對應坐標的係數?」
4、最後,我覺如果真的有興趣的話,可以去知網等去看一下參考文獻,那裡的話更清晰更權威。
推薦閱讀: