請問泛函分析的語言是什麼時候開始滲透到信號處理領域的？

01-15

其實你只要看到一提泛函分析就想到變分法的時候，就應該知道，在很多領域，泛函分析根本沒滲透到信號處理的很多領域中，哈哈。

信號處理本就可以用泛函分析的語言去講（比如說，小波十講的前兩章），只是這麼做毫無必要，而大概真的需要泛函工具的最先是信號的反問題正則化處理，它可以應用在圖像去模糊、信號反卷積等問題上。

這主要是說Tikhonov正則化，比如說，運算元方程Az=u，而A的逆單值但不連續，也不能在整個的度量空間（進一步，Hilbert空間）定義，那麼它的求解就是一個不適定性問題。

Tikhonov正則化就是尋找一個展平泛函，一方面能逼近原問題，一方面能穩定求解。

如果A是Hilbert空間H1到H2的運算元，附加的展平泛函經常可以取H1上的單位運算元的泛函，在Sobolev範數的情況下，按照Sobolev空間的緊嵌入定理，正則運算元的存在是顯然的。

Tikhonov正則化求解反問題其實原理上和貝葉斯方法相同，只不過它更粗略，沒有考慮正則運算元的意義，在一些具體問題，比如圖像處理中，Tikhonov正則化效果不好，比如說Sobolev範數的正則化，因為橢圓方程正則性，它的結果保波前集，也就是光滑的，這樣圖像的邊緣會完全模糊掉，這時就出現了ROF模型，用貝葉斯方法可以解釋為圖像的先驗概率和後驗概率的建模，而用正則化角度考慮的話，Banach-alaoglu定理保證了解的存在性。實質上，ROF模型利用的是BV（有界全變差）空間的範數，而BV空間是一個Banach空間的對偶空間，而且待求解泛函是弱下半連續的（這可以從凸性得到）。

在圖像處理的很多問題上，泛函分析都用於構造和分析泛函或者求解方程，前者著名的有圖像分割的Mumford-Shah模型，後者有用各種用於圖像處理和修復的各向異性偏微分方程。

Mumford-Shah為了構造圖像分割，一方面考慮和圖像邊緣概率相關的灰度梯度函數，一方面還要為了分割邊緣而加入Hausdorff測度，這極大增加了模型的難度。

而各向異性偏微分方程中各項異性是為了保持邊緣不被模糊，同時又希望保有Hill-Yoshida運算元半群的性質。

這些導致泛函分析成了反問題和現代圖像處理的基石，至於其他方面就不太了解了。

以我的知識，我僅能提供在信號處理方面，泛函是怎麼進入到通信的領域的。至於性能分析，資訊理論方面，希望其他大神補充。

通信系統的模型，一般來說都是，線性信道加上高斯雜訊。這類模型在統計推斷中是最簡單的。從頻率學派來講，最大似然估計有容易推倒的迭代演算法，甚者close-form解。從貝葉斯學派來講，後驗概率密度函數有close-form形式。總之，一切非常順利。於是乎，在2000左右的TWC甚至TSP上面，根本不需要泛函分析這類的工具出馬。

大概在2010年左右，隨著高速移動場景下通信的研究，以及雙選擇性衰落信道的研究，信道的參數越來越多，模型也開始複雜。這時候，latent variable model 開始用來建模信道，並結合EM演算法在TSP上水出了一大批文章。隨著這類框架的繼續複雜化，EM中e-step 傳統方法已經失效，於是乎，泛函這個工具終於出馬。變分法 (variational method) 只是泛函的冰山一角，卻能夠繞過傳統EM 中最難的e-step。這裡說繞過，而非解決，具體可參見變分法的知乎介紹。應該從這裡開始，變分法，從berkerly的jordan大神手裡開始慢慢成為通信人的工具，也繼續促進了從機器學習中拓展通信信號處理方法的潮流。

如今，已經到了2015年，僅僅是單純使用基本變分法的框架，用在基本的通信模型上，已經被同行們覺得非常standard了，至少在TSP肯定中不了了。當然變分法的變種很多，理論上的，實際上的，也許它在信號處理屆還有些小坑能補，但大局已經不樂觀。