是否可以監測聲波所引起的水面震動畫面,以此還原環境聲音?


理論上來說是可行的,但是我感覺直接從攝像機拍攝到的畫面上觀測到水波的震動並轉換為聲音有點科幻,比較現實的方法可以是把一束激光打到窗玻璃上,然後對反射光的變化進行檢測,進而還原出聲音。Google了一下發現確實有這個技術 Laser microphone


試著建立這個問題的模型,認為水面上的作用力只有表面張力,那麼水面的振動類似於在邊界被束縛下(似乎有點理想,如果把邊界振動考慮進去,那太複雜了。。。),2D薄膜的振動。由於2D薄膜振動,存在很多本徵振動形式,也就是說,任何時刻的水面的形狀可以寫成這些2D情況下本徵振動的疊加,於是就可以得到關於振動頻率的信息,包括振動頻率的分布情況。如果振動純粹來源於周圍聲音的貢獻(即壓強的變化),或許可以從這些信息中反推出聲音中的一些音頻信息。

其實這其中有個很難的是,就如@邵英東 所說,如何嚴格從表面的振動中,過濾出空氣的振動這樣的微弱的信息。振動的來源太多了,說不定還有周圍人的腳步,昆蟲的鳴叫。。。。。

謝邀!


這個震動的頻率應該和液體的粘稠度和成分有關係吧?


正好本科時做過類似項目,可以回答一下。

首先,通過觀測物體的微小振動來進行遠距離非接觸式監聽是絕對可行的,題主所說的利用高速攝像頭拍攝說話人屋內物體的微小形變來還原屋內的說話內容的技術確實存在

下面MIT的一個工作就是利用的這種方法(可能需要翻牆,等我網速快的時候看可不可以把視頻傳優酷上):

? 項目網址:The Visual Microphone

? 項目演示視頻:https://www.youtube.com/watch?v=FKXOucXB4a8

? 項目論文:The Visual Microphone: Passive Recovery of Sound from Video [1]

這是他們的兩張演示的示意圖:

大概就是如題主所說的利用高速攝像頭拍攝物體微小形變來還原屋內說話內容,不僅是利用,還包括廢紙、水杯甚至樹葉等都可以還原出來,感興趣的可以繼續去了解一下。

比較廣泛比較常見的還是如 @咯噔阿 所說的利用激光的方法,也是我們當時採用的方法,可以大致介紹一下。

1. 背景

事實上激光監聽技術應該算是比較成熟的技術,已經被廣泛研究過很長時間。

? 現在搜索相關論文可以追溯到上世紀80年代的文章,比如[2];

? 相關視頻可以搜到很多,如https://www.youtube.com/watch?v=tXC9ykA0HFs;

? 同時在2012年這項技術還被作為第三屆全國大學生光電設計競賽的賽題(第三屆 - 全國大學生光電設計競賽):

2. 實現方案

其實這項技術從原理上來說並不算複雜,光路部分一般有兩種實現方案:

1)
激光反射法。該方法其實就是利用光的反射的原理,其光路簡單,搭建方便,適合遠距離光電測震,但靈敏度較低,抗干擾能力差,對比較微弱的震動信號反應不能讓人滿意;

2)
激光干涉法。該方案以激光干涉原理為基礎,對光路的要求比較高,光路的搭建和調試都有一定的難度。但是基於干涉的測震技術有著激光三角法所不能比擬的高靈敏度,非常適合微弱震動信號的測量。

激光干涉的方案又有零差法外差法兩種。

零差就是直接進行干涉,得到的是頻率分布在零附近的信號;外差就是將信號搬移到一個較高的頻率,信號的中心頻率不是零。外差法明顯抗雜訊能力更強,能提取更純凈的信號,但是光路更複雜並且成本比較高。利用激光外差法進行微弱震動檢測可以參考[2],這裡我們討論下零差就夠了。

3. 原理

利用激光干涉進行檢測的原理:由於目標物體的震動,使在上面反射的光波具有不同的相位,且相位的變化與待測物體的振幅成比例,相當於通信裡面的相位調製。當這條光束與參考光束相遇,發生干涉(干涉也類似於通信裡面的解調過程),就可以得到載入在光信號上的震動信號。該震動信號通過感測器就表現為輸出的能量的起伏,從而獲得震動信息。

如圖,若某個時刻,反射光束記為光束1,其電矢量表達式為:

U_1=A_1  cos(omega  t+varphi_1)

當在下一個時刻,反射表面發生一個Delta x的位移後,得到另外一條反射光線,記為光束2,其電矢量表達式為:

U_2=A_1  cos(omega  t+varphi_1+frac{2pi }{lambda } ast 2Delta x)

另一路的參考光束,其電矢量表達式為:

U_3=A_2  cos(omega  t+varphi _2)

當光束2和參考光束干涉時,由光的獨立傳播原理,干涉光的電矢量表達式就等於光束2和參考光的電矢量的疊加,即:

U_{23}=U_2+U_3=A_1  cos(omega  t+varphi _1+frac{2pi }{lambda } ast 2Delta x)+A_2  cos(omega  t+varphi _2 )

光束2與參考光產生的干涉光被光電感測器接收後,根據光電探測器平方律特性,其輸出光電流可表示為:

I_{23}=varepsilon ast U_{23}^{2} =varepsilon (U_2+U_3)^{2}

=varepsilon left{ A_1^{2} cos^{2} (omega  t+varphi _1+frac{2pi }{lambda } ast 2Delta x)+A_2^{2} cos^{2} (omega  t+varphi _2) 
ight}

+A_1A_2cosleft[ left( omega -omega 
ight) t+left( varphi _1+frac{2pi }{lambda } ast 2Delta x-varphi _2
ight)  
ight]+A_1A_2cosleft[ left( omega +omega 
ight) t+left( varphi _1+frac{2pi }{lambda } ast 2Delta x+varphi _2
ight)  
ight]

式中varepsilon 為光電轉換的常數。

上式中出現的4項當中產生了4個頻率成分,但考慮到光電探測器實際工作過程,前面兩項都是功率項,omega 是極高的光頻,它所產生的效果對應為直流分量。而後面兩項與前面兩項具有本質的區別,它們是光功率的時變數,由於和頻項頻率太高,光電探測器根本就不會發生響應,即這部分光波的成分與探測器不會發生相互間的作用,而差頻相對於和頻是一個慢變化的功率分量,這部分會有相應的光電流輸出。

從數學運算和以上原理分析中可以得出,上式化簡後,其光電流為:

I_{23}=varepsilon left{ frac{A_{1}^{2} }{2} +frac{A_{2}^{2} }{2}+ A_1A_2cosleft( varphi _1-varphi _2+frac{2pi }{lambda } ast 2Delta x
ight) 
ight}

可以看出光電感測器輸出的光電流與待測物體的振幅之間存在一個確定的函數關係式。將檢測到的光電流信號經過差分、放大、濾波、功放模塊後,就可以還原出原始震動信號。如果這個震動是由聲音引起的,那麼就可以還原出聲音信號。

當時我們是在一個玻璃箱子裡面放音樂,在大概3米外利用激光的技術是能夠聽到音樂的,雖然噪音比較大,但效果還算是比較不錯。

【很遺憾找不到當時測試時的照片了……】

4. 其他應用

其實主要就是利用激光干涉的原理進行微弱震動的檢測,然後還原出一些震動信息。題主提到的利用水面的震動來做檢測我們後來也做過,但不是做監聽,而是想做地面震動情況檢測

由於很難保證地面的水平情況,於是上圖中的M2我們就是用的盛滿水的水杯(因為水面是水平的~),如圖(做的比較醜陋…):

當時在室外測量時,我們在地下大概1米處放了一個連著信號發生器的喇叭,地面放有盛了水的水杯,通過將激光照射到水面上然後經過干涉和後期處理,最後能非常準確地測到喇叭聲音的頻率的。

後來也做過利用激光干涉檢測車輛是否超載的項目:

不過這個項目也只是在實驗室做了,後來考慮實際意義貌似並不大就沒有繼續往下做了……

參考文獻

[1] Davis A, Rubinstein M, Wadhwa
N, et al. The visual microphone: Passive recovery of sound from video[J]. ACM
Trans. Graph, 2014, 33(4): 79.

[2] Mims,Forrest M.Beware of laser eavesdropping[J].American Journal of Physics,1987,55(10):871—872;

[3]霍雷,曾曉東,劉兵,激光外差干涉技術在固體發動機振動中的應用,固體火箭技術,2012年第35卷第1期,139-142.

【「科研君」公眾號初衷始終是希望聚集各專業一線科研人員和工作者,在進行科學研究的同時也作為知識的傳播者,利用自己的專業知識解釋和普及生活中的 一些現象和原理,展現科學有趣生動的一面。該公眾號由清華大學一群在校博士生髮起,目前參與的作者人數有10人,但我們感覺這遠遠不能覆蓋所以想科普的領域,並且由於空閑時間有限,導致我們只能每周發布一篇文章。我們期待更多的戰友加入,認識更多志同道合的人,每個人都是科研君,每個人都是知識的傳播者。我們期待大家的參與,想加入我們,進QQ群吧~:108141238】

【非常高興看到大家喜歡並贊同我們的回答。應許多知友的建議,最近我們開通了同名公眾號:PhDer,也會定期更新我們的文章,如果您不想錯過我們的每篇回答,歡迎掃碼關注~ 】

http://weixin.qq.com/r/5zsuNoHEZdwarcVV9271 (二維碼自動識別)


當然可行了。但隨著震動的衰減和干擾收集起來就越來越差了。現在有一種光學的竊聽器,把一束激光打在對面樓的玻璃上,然後通過信號接收器,可以聽到對面人說話,也就是收集產生玻璃上的震動。


推薦你去搜一下2015年5月某期的TED,阿比·戴維斯,《揭示物體隱藏屬性的視頻新技術》。講的就是MIT一個小組如何把細微振動還原為聲音。


可以實現,但是感覺很困難。把水面看成一個系統的話,的確聲音的激勵可以產生相應的波紋。但是有幾個問題,主要是聲音的成分變化和水面系統對過去狀態的疊加問題比較麻煩。聲音本身包含很多頻率成分,如果考慮聲音不隨時間變化,那麼不同成分的頻率會讓水面產生不同的波紋,這樣最後水面的波紋其實就是這些不同頻率聲音的疊加。

但問題是,我們想要監控的聲音本身包含信息豐富,是隨時間變化的。因此,聲音頻率構成也是在不斷變化,那麼水面的狀態也會隨時間而發生變化。這裡面就包含了一個比較麻煩的問題,那就是聲音變化速度往往比較快,使得水面還未來的及「消除」上一個時間單位的狀態時就又被疊加上了這個時間點上的信息,也就是說,我們看到的當前水面狀態包含了當前時間點及以前時間點(可以認為遠到這個系統成立,但實際上由於太古遠的信息很微弱,可以忽略……但是幾個時間點前的信息任然存在)的所有信息。在這種情況下對信息進行解析並提起出即時的信息是很有難度的。此時的傅里葉變化已經做了相應模型變換後,得到的頻譜往往被之前信息污染,很難提取。這就好比,想要從一張因為手抖而拍花的照片中提取出原始信息(就是原始期待的清晰照片)總是比較困難(這裡指的是沒有參考物時),抖動產生的照片類似於在採樣時對原始信息做特定卷積,而還原清晰照片需要做反卷積,這樣的難度很大,因此很少有軟體可以成功。


可能不行

這是一個有損的轉換

聲波在空氣中傳播,然後遇到水面,轉換為水波,我們可以很明顯的感到,裡面的細節大大的丟失了,因為推動水需要的能量更多,水杯有更多的反射,同時水的黏性大,細節損失強...


遠距離通過人眼反射的光還原電腦屏幕上的圖像

利用大樓外部電線的電磁輻射還原內部電腦屏幕圖像

以上這些技術都是真實存在的

相比之下,題主所說這種技術出現是比較早的了


似乎某個電視劇裡面有用玻璃的振動收集室內對話的場景,不知道是科幻還是真的有這樣的技術


推薦閱讀:

我把體重計翻過來能測出地球的重量嗎?
为什么我喜欢数学,但是经常看不下去书呢?
張首晟在量子反常霍爾效應的發現過程中起到了什麼作用?
光的三基色是紅綠藍,為什麼紫光是單色光呢?

TAG:攝影器材 | 物理學 | 科幻電影 | 波動光學 |