Fourier變換和矩陣的特徵值有什麼聯繫嗎?

看了奇異值的物理意義那道題,說保留最大的特徵值可以最高效地保留信息。

聯想到Fourier級數里,最初的幾個係數也是保留特徵最多的。

又想到,奇異值本質上是雙變數線性函數改變定義的基底坐標,與坐標的變換有關。而Fourier變換也存在x域到t域的變換。

抽象一下,就感覺存在某種關係,似乎他們都屬於一類方法的集合中,這類方法作用於一個函數,通過對函數的定義方式進行變換,暴露出函數的一個特徵量。不知道我的想法有道理嗎?數學上是怎麼解釋的?


你說的很對,傅里葉變換和特徵矩陣都是正交(幺正)變換,傅里葉係數就是變換後的坐標,指數函數就是變換的基向量!只不過矩陣一般是在有限維線性空間中定義的,傅里葉變換一般是在無限維線性空間中定義,如果都在有限維線性空間,傅里葉變換可以表達為一個U矩陣!詳細參考我的博客:深入理解傅里葉變換

之前寫得特徵值和特徵向量有誤,謝謝指正,壓縮並不需要一定是特徵值和特徵向量,只需要變換後數據集中分布在部分坐標上即可(這裡是低頻成分),傅里葉變換的特殊性在於指數函數是微分運算元的特徵函數。見我博客的解釋


這兩者實際應用不大相同。

奇異值的提出,可以對矩陣降維。有一些其他做矩陣降維的演算法,比如PCA,也是依據特徵值大小而完成的。

Fourier分析是為了分析信號的頻譜特性,從頻域分析信號。

「聯想到Fourier級數里,最初的幾個係數也是保留特徵最多的。」

這句話應該不對,要是原始信號都是高頻成分,你的前幾個係數也沒保留什麼特徵。

——————————————————————————

兩者也是有共同點的,都是用另外一組正交基來表示原矩陣或信號,奇異值一般是有限維,而Fourier級數是無線維。


不清楚題主說的

聯想到Fourier級數里,最初的幾個係數也是保留特徵最多的。

是怎麼一回事。傅里葉變換可以理解成信號從時域向頻域的轉換,每一個傅里葉係數都是信號對應在不同頻點上的投影,如果是一個高頻信號怎麼能夠滿足「最初幾個係數是保留特徵最多的」這種說法。

實際上我並不同意某些答主所說的「對」,我認為實際上傅里葉變換和奇異值分解是關係不大的。

先看奇異值分解

事實上,我們可以從幾何的角度來理解,矩陣的奇異值分解的含義。對於一個矩陣,奇異值分解為

{A} = {USigma V}^H

我們不妨假定這是個大小為 2	imes 2 的矩陣,這樣我們可以將矩陣 A 看做是一個橢圓。矩陣 A 的奇異值分解可以看做是將一個單位圓進行旋轉、拉伸使得其變形成為 A 的過程,下面盜一張維基的圖,如圖所示:

在上圖第一個階段,首先對單位圓坐標進行旋轉使得坐標軸方向對準橢圓的長短軸,

第二階段對單位圓進行伸縮變換,

第三個階段再次對橢圓進行旋轉使得其方向與 A 保持一致。

更詳細的解釋你可以看這兒:

① 奇異值分解的幾何解釋

② 奇異值分解的幾何解釋二

然後我們再看傅里葉變換

無論是傅里葉級數還是傅里葉變換都是將信號(或者數據)向頻域(或者復頻域 e^{jomega} )的正交坐標軸進行投影的過程,在這個投影過程中坐標軸是固定的。當然你可以將這個過程理解成一種旋轉,因為本身 DFT 矩陣也是酉矩陣,但是這個旋轉到達的方向是固定的。

最後說說區別

你可以籠統的說奇異值分解和傅里葉變換都是某種形式的旋轉,但是這樣講其實意義不大。奇異值分解的優勢在於給定任意一個矩陣可以通過旋轉坐標將其對角化,但是這一點作為固定基底投影的傅里葉變換是遠遠做不到的(或者說保證不了),和傅里葉變換類似的投影方法有很多,但是拿傅里葉變換和奇異值分解比,我認為是沒什麼意義的。


謝邀

兩者確實有聯繫,但聯繫並不是你想像的傅里葉級數係數對應矩陣特徵值,同時也不同意 @tracholar 所說的「傅里葉係數就是特徵值,指數函數就是變換的特徵向量」。

結論:傅里葉級數係數對應基的係數,指數函數不是傅里葉變換的特徵向量

一般來說矩陣是有限維線性空間的線性變換,作用於n維向量;而擴展到無限維時,矩陣變成了運算元,而向量變成了函數(k可以把函數理解為無限維向量,因為它處處都有取值),而傅里葉變換就相當於運算元,將時域轉換到頻域(若除去物理意義,在泛函中就是兩個函數空間的轉換)。

先來看傅里葉級數,它是將周期為T的可積函數進行傅里葉展開:

s(x)=A_{0}/2+sum_{n=1}^{infty}{A_{n}cdot sin(2pi nf_{0}x)+B_{n}cdot cos(2pi nf_{0}x)} ,其中 f_{0}=1/T

n維線性空間有n個線性無關的基,所有空間中的元素均可用這n個基的線性組合來表示。而對於周期為T的可積函數空間來說(即所有周期為T函數組成的空間),傅里葉級數展開中的這些sin,cos函數就是它的基,因為它是無限維空間,所以它有無限個基。所有周期為T的可積函數均可以用這些基的線性組合表示。而你說的取前幾項就是某種程度的近似,和特徵值並沒有什麼關係。

由此可以得出傅里葉級數與矩陣如下對應關係:

有限維-&>無限維

向量-&>函數

矩陣-&>運算元

基-&>函數空間的基,即各種sin,cos函數

基的係數-&>傅里葉級數

說完傅里葉級數再來看傅里葉變換。在實際意義中,傅里葉變換相當於將函數周期T擴大到無窮,將傅里葉級數擴展到非周期函數,而它的本質就是一個函數空間的運算元。

運算元的特徵值與特徵向量求法和矩陣類似,通過求解等式 Aphi(x)=lambdaphi(x) 得到。若指數函數是傅里葉變換的特徵向量,那麼它應該滿足這個等式。我們將指數函數進行傅里葉變換(相當於等式左邊),得到的函數並不是指數函數的形式,無法用特徵值乘以原指數函數來表示(相當於等式右邊)。因此指數函數並不是傅里葉變換的特徵向量。至於傅里葉變換的特徵向量是什麼,我沒有算也沒有必要算。

最後再說兩句,傅里葉級數和傅里葉變換都是偏向實際應用的方法工具,理解它們物理意義就好,別想得太複雜啦。


線性代數基變換角度,本質一致,但是物理意義有差異


在特徵分解中,保留大特徵值即在空間保留了(振動)功率最大的方向或子空間信息,自然是保留了主要的特徵信息。

傅立葉變換相當於在一個倍頻空間中(基頻由所選的基本周期(一般指截取的數據或信號總長度)決定)做特徵分解,大特徵值(傅立葉級數)對應的基自然表徵了主要信息,頻譜分析便是如此。直接觀察傅立葉變換式,其實就是在計算信號與一系列單頻信號的互相關(相似度)。


推薦閱讀:

主成分分析PCA演算法:為什麼去均值以後的高維矩陣乘以其協方差矩陣的特徵向量矩陣就是「投影」?
如何系統複習線性代數?
量子力學中為什麼要引入複數,引入複數的意義是什麼?
線性代數有什麼用?學習線性代數的意義在哪?
為什麼正態隨機變數的二次型服從卡方分布?

TAG:線性代數 | 傅里葉變換FourierTransform | 數學分析 | 矩陣 | 高等代數 |