還有沒有類似傅里葉變換那麼有用的正交變換？

01-05

傅里葉變換的本質是找到了另一組基函數表示，而這組基函數恰恰可以有實際的物理意義，因此在人類社會這個世界裡用來分析
那麼有沒有其他變換，也就是找到其他的基函數，這些基函數也可以在人類世界中有用？

不知道我理解的對不對，我知道一些由正交多項式展開而衍生出來的積分變換。因為這種類型的變換非常多，我這裡暫時就舉一個例子，更多的例子可以看我給的參考文獻。

Legendre Transform:

$mathcal{J}_n{f(x)}= ilde{f}(n)=intop_{-1}^{1}P_n(x)f(x)mathrm{d}x,$

其中， $P_n(x)$ 是Legendre多項式。

Inverse Legendre Transform:

$f(x)=mathcal{J}_{n}^{-1}{ ilde{f}(n)}=sum_{n=0}^{infty}left(frac{2n+1}{2} ight) ilde{f}(n)P_n(x).$

這組變換是由Legendre多項式展開得到的。其他的還有：Jacobi, Gegenbauer, Laguerre, Hermite變換等等。

參考文獻：

[1] L.Debnath, D. Bhatta, Integral Transforms and Their Applications, Chapman Hall/CRC.

你這個問題的本質是，把一組信號用另一組信號來表示。

那最簡單的就是正交基，隨便找幾個正交向量就能夠表示了。缺點是一方面只用正交基表示太簡略了，另一方面，正交基的確定是個問題。有個辦法是從一個 overcomplete 的字典里挑，我記得有個方法叫 Best
Basis algorithm 來著，好像是。

之後就是傅里葉變換，但是傅里葉變換對函數的性質要求比較高，比如什麼周期的啊，對稱的啊，還要光滑。後來改進了一下就有了離散餘弦變換。

然後就是大名鼎鼎的，小波分析~它對函數的要求更鬆些了，他能找到一個母函數，使得原函數是母函數的縮放，平移以後線性組合而成的。但是母函數要滿足局部和均值為1兩個特性。

這些方法在數學上都很漂亮，但是呢畢竟自然界太複雜了，有時候還是不太好使，人們就考慮能不能用用數據自身來表示自己，也就是說直接從數據裡邊提取結構信息（基底）。於是就有了基於字典的方法（前邊的那種叫基於變換的方法）。也就是機器學習裡邊大名鼎鼎的字典學習（沒錯，我就要扯到這個熟悉的戰場來，畢竟玄學(￣▽￣)╮）。字典學習就說啦，我要解決這樣一個問題，設信號為 $mathbf{gamma}$ ,字典為 $mathbf{D} = [mathbf{d_1}, mathbf{d_2} dots mathbf{d_L}] in mathbb{R}^{N imes L}$ ,其中列看做是字典中的基底，同時 $L geq N$ ，保證這個字典是 overcomplete 的。被表示信號是 $mathbf{x} in mathbb{R}^N$ 。於是就有了兩種思路：

$gamma_a = mathbf{D}^Tmathbf{x}$ （分析的思路，不熟悉就不瞎說了，和壓縮感知相關）

$mathbf{x} = mathbf{D}gamma_s$ （組合的思路，也就是稀疏表示的思路）

我們要在這個上邊定義一個損失函數，使得：1. 表示誤差最小；2. 表示信號具有稀疏性（也就是選擇出盡量少的基底）。為什麼是稀疏性呢？因為在實踐中這樣得到的效果最好，具體的原因小的才疏學淺也說不個所以然來。更詳細的內容可以查找稀疏表示相關的資料。

其次字典為什麼要是 overcomplete 的呢？因為這樣的話就可以選擇需要的基底，而不是只用一套，現實世界畢竟很難是純線性的，這樣就能使得字典能夠表示一些更複雜的情況。具體的求解方法有 MOD 和 K-SVD 兩種，基本思路都是一致的，先按住字典求解信號，在按住信號更新字典，交替優化。

其實怎麼說呢，在我看來，目前機器學習領域的很多方法，本質上都是在尋找一組基，同時盡量保證基底之間的正交性。其實按照這個思想，什麼 PCA 啊，KLT 啊也都是找到一組基底，來表示原始數據，然後分析之。還有什麼高斯混合模型之類的。如果看的極端一些，只挑選一個基底的話，這個問題其實就是個聚類問題。所以聚類方法也可以看做是滿足你的需求，只不過略微極端了些。差不多就是醬紫╮(╯_╰)╭

參考文獻：

[1] Rubinstein R, Bruckstein A M, Elad M. Dictionaries for sparse representation modeling[J]. Proceedings of the IEEE, 2010, 98(6): 1045-1057.

球面上的Legendre展開？球面上的二階偏微分方程分離變數時用的就是Legendre展開。

離散餘弦變換https://zh.wikipedia.org/wiki/%E7%A6%BB%E6%95%A3%E4%BD%99%E5%BC%A6%E5%8F%98%E6%8D%A2

Walsh Transform

Haar Transform

K–L Transform

etc...

學一個吧！

Dictionary Learning 就是干這個的。

傅立葉變換、Gabor 變換、小波變換，都是在一組基上投影數據。但根據具體應用，從數據中學習一組基不才是最優的么？這個學習就是字典學習。學習到的基，稱為 codebook。

問題不well-defined。

「找到其他的基函數，這些基函數也可以在人類世界中有用？」

「有用"是什麼概念，和是在什麼意義下的有用?

樓上說的這些transform可能都是基於某一種目標下的最優變換，如果不定義這個目標，那都可以叫，有沒有用就無從談起

《時頻分析與小波變換》是傅立葉的推廣

《函數逼近論》維爾斯特拉斯多項式，最早的正交系，函數論誕生的標誌

前面幾個答案已經寫得很好了，我來梳理並且補充一下吧。

任何信號是可以用一組基函數來表示的，傅里葉基是一種基，是一組完備的基。

對於自然圖像來說，其頻譜主要集中在低頻部分，由一些低頻分量就可以組成原來的圖像信號了，也就是說用傅里葉基來表示圖像信號會得到一個低頻的稀疏表示；同樣，DCT基、PCA基也可以使得圖像在其上分解後得到稀疏表示。

圖1 PCA基（取自UFLDL教程）

那麼，能不能找到一組基，使得信號在這個基上的表示最稀疏呢？也就是說，僅僅使用幾個基就可以幾乎完整的表徵原信號。這裡就引出了Sparse Coding理論，也叫做壓縮感知。

壓縮感知的整體思想，就是從一組過完備的基里選出少數幾個基，來近乎完美的重建原信號

可視化求解壓縮感知得到的字典之後（也就是過完備的基），得到的結果非常有意思：對於圖像來說，圖像的最基本的元素（也就是圖像信號的「基」），是圖像的邊緣，如上圖人類也是這麼理解世界的，當你看到一副圖像，其實你最開始理解的是像素，然後由像素組合圖像的邊緣，邊緣進而組成更加複雜的圖像。對於其他的事物一樣是從基本的元素開始理解，再到這些元素組合而成的複雜事物。

給定一個自伴運算元，其特徵解都是正交的。

更*

小波是大學選修的，學藝不精，但還是很高興大家批評指正，向@王希還有其他評論者表示感謝。我回去再研究研究看看小波是不是都是正交基函數。在這兒表示不希望誤人子弟。(′︶`? ) 拜個年

有，小波變換就是正交變換，其中包括離散余仙變換，成功的用於jpeg圖像壓縮上。由於小波變換的基函數種類很多像哈爾基函數，每一種基函數對應的變換都是正交變換。另外小波變換研究也過了繁榮時代。現在的正交變換已經升級為多尺度變換了。你可以看看最近相關的文章應該還不少。另外前面的博士也說了，正交變換也可以用於求解微積分方程。相關內容可以參考數學物理方程的書。

這是cnki的截圖，原諒我沒法上谷歌學術。另外它對我最大的用處就是刷新世界觀啊。黎曼幾何，複變函數，數學物理方程是這些知識的基礎，學完之後你就知道什麼叫多維空間了。一個複雜的函數升級到多維後，也就是個點。一種讀三體的感覺哇。