自相關函數怎麼理解,為什麼定義中有共軛,卷積呢。定義中的卷積,共軛有什麼意義?尤其是在信號處理方面


我來簡潔地解釋一下。

1) 首先我們僅考慮實信號。

自相關的直觀含義就是:把一個信號平移一段距離,跟原來有多相似。

於是就有了自相關的定義:

R(	au) = int_{-infty}^infty x(t) x(t-	au), 	ext{d}t

它代表了「移、乘、積」這三步操作。

如果只談自相關,其實到此就可以結束了。

只不過,在信號處理領域中還有一個叫「卷積」的東西,在別的地方(已知線性時不變系統的衝激響應和輸入,求響應)有用。

它跟自相關的定義很相似,包含了「卷、移、乘、積」四步操作:

(x*y)(	au)=int_{-infty}^{infty} x(t) y(	au-t) , 	ext{d}t

左邊有時也寫作x(t)*y(t),表示這個函數是由x(t)和y(t)卷積而得的,但它的自變數是	au

我們發現卷積比自相關多了一步「卷」的操作,為了去掉這個多餘的操作,我們先把原信號自己卷一下,就可以抵消掉卷積中的「卷」操作了。這就是自相關與卷積的關係:

R(	au) = x(t) * x(-t)

2) 現在擴展到複數域。

自相關是要刻畫一個信號平移後與原始信號的相似性。顯然,不平移時應該是最相似的。

我們希望x(t)與x(t)本身相乘後積分時,各時間點的值能夠因疊加而增強。

在實數域上x(t)直接自乘沒有問題。在複數域上,x(t)自乘後輻角還是亂的。

如果對其中一個x(t)取一下共軛,相乘後輻角就統一變成0了,積分時就能夠取得疊加增強的效果。

所以在複數域上,自相關是這樣的:

R(	au) = int_{-infty}^{infty} x(t) overline{x(t-	au)} , 	ext{d}t

(共軛取在前者還是後者上都可以,取決於作者的習慣)

擴展一下,複數域上線性空間的內積的定義中也有共軛,其動機與此處相同。

「相關」這個運算其實就是一種內積。


謝邀。

1.

不過以我的數學功底,我說不清楚「為什麼定義中有共軛?」

這其實是一個很深的問題。

也許,我能給一點方向,如果你有興趣,可以繼續探索。

也許你找一個數學博士聊一聊,收穫會更大。

因為我們在信號處理里,我們也會遇到複數信號,所以,我們要定義複數信號的內積

(update: 之前有誤,這裡是把信號看成了確定函數,也就只是時間的函數。才會討論函數的內積。後面,在討論自相關函數的時候,其實信號是被當成了隨機過程。隨機過程是時間和事件的函數。於是,那裡不再有內積了,而是兩個隨機變數的相關。相關的定義為什麼要有共軛呢?我不知道,這是否和下面討論內積是否有共軛有關係。)。

注意,這裡說的內積是信號的內積,信號是時間的函數,所以,這裡的內積是函數的內積。

我記得我才開始學那會,說到函數的內積,我會聯想到我熟悉的:向量的內積。

然後我就會像,這一個函數,以時間為自變數,那它的值,實際上就是和t一一對應的一系列的值,這麼說來,一個函數,實際上就是一個,無窮維的向量。這些向量的第一個是t=0的值,第二個是t=0+delta t的值,依次下去。

這樣的確很直觀,可是,到了後來,我覺得這個「錯誤」的理解其實有可能阻止了你去接受一些更通用的點子。

函數的內積,就是函數的內積,別把一個函數看成一個我們習慣了的向量。

函數的內積是從向量的內積推廣而來的。

或者說,有人從我們熟悉的向量的內積上,總結出了一些東西(這些東西我們成為axioms),然後那人就說,你定義某種運算,只要滿足這些axioms,那麼它就可以叫內積。

實際上,概率也是這麼定義,或者說統一起來的。

(歷史上「概率」是什麼,其實是有爭論的,有貝葉斯學派的人,覺得那是描述確定性的,有頻率學派的人,覺得那是頻率。其實,仔細想想,這二者其實差別還是挺大的。但是,有個傢伙就出來看了一下,把雙方的共同點,看看能否用一些axioms抽象出來,他成功了。於是,你的概率的課本裡面,真的到了概率的定義那一段的時候,你可能會覺得怪怪的。會說,滿足這幾條的東西,就是概率。)

現在回到內積。

函數的內積是從原本我們習慣了的,實數向量的內積推廣而來的。

所以這個問題實際上,最後變成了: 「為什麼內積的定義裡面要有共軛呢?」

這個問題,我不知道了。

類似的討論在這裡:Why do inner products require conjugation?

我不是太看得懂他們的討論。

不過,wikipedia上倒是有一句話提到這一點:

這種定義在幾何上更加自然,因為這種定義下,你的內積乘上一個模為1的複數(比如i,複平面上半徑為1就可以),再取模,是不會變的。

而如果不取共軛的話,得到的內積,乘上一個模為1的複數,再取模,就可能變了。繞了半天,在關鍵點,我還是沒能給一個答案。

或許,一個數學功底很深厚的人,可以很簡單地講出來。

題主可以期待下。

2.

自相關函數是什麼。

大約在兩年前,我第一次接觸到這個概念的時候,我被一大堆名字類似的名詞困擾了好久。

correlation,auto-correlation,cross-correlation.

如果要開始,首先要回到的問題是:你把信號看成什麼?

這個不是一個有惟一答案的問題,它不是「信號是什麼」這個問題,而是,你,很主觀的,你,把它看成什麼。

你可以把信號看成一個 確定性的函數,只是,比如你的信號是經過了無數個子系統,才被你採集到的,那麼這無數個系統都對信號有一點點的小小的改變,可能真的建一個模型出來,它會有成千上萬個參數。

這樣的模型,在實際應用的時候,反而是沒有意義的。

那麼,你還可以把信號看成隨機過程。實際上,這是一種偷懶。想想一個概率分布,不需要多少個參數就能確定。它可能不完全符合實際的情況,但是卻足夠在某個精度範圍內描述它了。

我們把一個信號,看成一個隨機過程。

一個隨機過程的每一個時刻,都是一個隨機變數。

隨機變數是事件的函數。

一個信號,是一個以時間和事件為自變數的二元函數。

自相關函數,是一個以時間為自變數的函數。

比一個信號少了事件這個自變數。

所以,在自相關函數的定義中,你看到了求期望。

它是時間的函數是什麼意思呢?

準確地說,其實是兩個時間的函數。

剛剛說了,每一個時刻都是一個隨機變數。

在所有的時刻中,抽出兩個時刻來,這兩個隨機變數的內積的期望(這裡有誤,應該是兩個隨機變數的相關的期望)。

而我們常常討論的,叫做平穩隨機過程。

這種隨機過程是,任意抽的兩個時刻,如果時間差是T。

另外,其他的任意兩個時刻,如果時間差也是T,那麼這兩組隨機變數的內積的期望(這裡有誤,應該是兩個隨機變數的相關的期望)是一樣的。

我覺得,可能理解上,最重要的點是:自相關函數有一個求期望。

如果你看到了一個沒有求期望的式子,而是一個信號和自己的時延做相關,這個東西,實際上是自相關函數的估計。

仔細想想,你會覺得奇怪。

一個時延上的相關,去估計一個概率上的平均。

沒錯,能夠這樣估計的隨機過程,還有一個特性,叫做遍歷性。

一開始可能理解有點費神。

我個人覺得,理解是個不斷要放手的過程。

放開那些以前覺得理所當然的東西。

比如,自相關函數,我個人覺得,最好從隨機變數的概念,再到隨機過程的概念,一點點,慢慢地看過來,可能才會好理解一點。

而這個過程中,至少我個人的經歷是,不斷地一次次推翻了自己之前的理解。

祝好。


最近在讀《Linear Algebra Done Right》,看到這個問題真是excited!

首先,注意到自相關函數是這麼定義的:

R(	au) = int_{-infty}^{infty} x(t) overline{x(t-	au)} , 	ext{d}t.

嗯,很熟悉的感覺。

內積的定義:

<f(x), g(x)> = int_{a}^{b} f(x) overline{g(x)} , 	ext{d}x.

噓~你們看,我發現了什麼?這裡有一隻落單的公式,我們可以嘗試捕捉它,一個公式可以為我們提供好幾天的能量,它們富含大量的蛋白質,不過公式可不好對付。我們慢慢從後面接近它,小心別發出任何聲音。

嘿,我抓到了,它掙扎得很厲害!我們把它的頭割下來,其餘的部位可以生吃,當然,如果時間不緊迫,我們可以先烤一烤,那樣會更美味。

嗯,它們的口感嘎嘣脆,味道就像雞肉一樣。

這不就是把積分區間擴大到(-int, int),把g(x)寫成f(x-tau)嗎?

也就是說,自相關是時移tau後與自己的內積!

函數正交的數學或物理含義? - 物理學

函數的內積為什麼要這麼定義? - 數學

如果兩個向量的內積(點積)為0,則它們相互「垂直」;

如果兩個向量的內積(點積)標準化後為1,則它們」同向「;

如果兩個向量的內積(點積)標準化後為-1,則它們「反向」。


---updateV2-20170405------------------------------------

update20170405:前些月複習了通信原理和隨機過程,在通信裡面大部分情況下,信號都是隨機的,而我們處理信號的一大利器就是Fourier變換,所以,得想辦法利用Fourier變換,但是,Fourier變換隻能用於確知信號,隨機信號是不可以做Fourier變換的,所以可以利用相關函數(自相關函數、互相關函數)對信號進行運算,這樣就可以對運算後的信號做Fourier變換啦。

---以下為原答案V1-20141004---------------------------

一個信號只能是功率信號與能量信號之一,不會兩者都是,但可以兩者都不是。

1.能量信號的自相關函數與其能量譜密度是一對傅氏變換對。

R(	au )Leftrightarrow E(f)

能量信號(確定性信號)在頻域中重要的一個性質就是能量譜密度,能量譜密度E(f)是單位帶寬中的信號能量與頻率f的關係。

所以從時域中看,能量譜密度就是能量信號的自相關函數。

f(t)為實能量信號,且f(t)Leftrightarrow F(f)

f(t)的能量E_{f}=int_{-infty }^{infty } f^{2} (t)dt =int_{-infty}^{infty} f(t)left[int_{-infty}^{infty}F(f)e^{j2pi ft}df 
ight] dt

=int_{-infty}^{infty} F(f)left[ int_{-infty}^{infty} f(t)e^{j2pi ft}dt 
ight]df =int_{-infty}^{infty}F(f)F^*(f)df=int_{-infty}^{infty}left| F(f) 
ight|^2df E(f)=left| F(f) 
ight|^2= F(f) F^*(f)

,

能量譜密度中有共軛,所以對能量譜密度求傅氏反變換,得到能量信號的自相關函數R(	au )

.

2.功率信號的自相關函數與其功率譜密度是一對傅氏變換對。

(功率信號可以看做取周期信號的一個周期,令T
ightarrow infty

,求能量,再求平均功率,類似的)

3.定義中的卷積只不過可以湊巧可以變換成卷積形式,(你仔細看看自相關函數跟卷積定義形式還是有差別的),共軛的表面原因,是從上面推導而來的,其實跟複數域上的內積有關係。


共軛為什麼會需要,我覺得因為現在信號處理是常常都是用IQ兩路來分析實現,即複數。即接收的信號一般會有一定的相位偏移,而接收端做自相關時,取共軛的話,會抵消掉這個相位偏移。這樣和你模擬時用實數分析等效了。


怎麼判別隨機過程數學模型對隨機信號建模

的有效性?


請教一下:信號x(t)和y(t)之間的互相關性計算如何通過在發布回答頻域的計算得來?


推薦閱讀:

各個學科內都有哪些「很美」的公式或者結論?它們是大自然的鬼斧神工還是人類的匠心獨造?
數學是人類的發明,還是發現?
怎樣如同通過實數定義有理數一樣從「aleph-(n+1)」集合定義「aleph-n」集合?
那些世紀級別的數學難題真的不可能被年輕人證出來么?
如何自學「小波分析」?

TAG:數學 | 數字信號處理 |