怎麼讓鋼琴的聲音聽起來像人的聲音？

12-02

毫無比喻。求鋼琴大神指教如何讓鋼琴的聲音聽起來像是人在說話

在外面吃飯佔個樓先其實這的有可以模仿人聲的鋼琴但是聽上去非常creepy 請做好準備
----------------------------------------------------------------------------------------------------------------------------
吃完飯了，貼個油管鏈接：https://www.youtube.com/watch?v=muCPjK4nGY4
這應該是我見過最像的了，但是除非你和視頻里的機器一樣長了88根手指，不然不可能模擬人聲……
----------------------------------------------------------------------------------------------------------------------------
我胡漢三又回來了。首先感謝@腦袋不夠長對人聲進行Fourier Transform分解的解釋，又讓我想起了上DSP課的一次speech processing 的作業……話說人說話（假設英語），無非由單片語成句子，而單詞則由母音和輔音構成。下圖就是每個母音相對應最大三個頻率分量的值（輔音類似），還有 Amplitude vs. Frequency的示意圖。的確，如果只是對於聲音的decoding，只要知道最大的幾個頻率分量還有他們的大小就可以分析聲音的內容。
但是對於聲音的encoding，就遠沒有那麼簡單，因為發單個母音是需要連續多個頻率的疊加而不僅僅是最大的幾個頻率分量（Amplitude的峰值）。所以可以想像如果要用鋼琴（假設單個鍵只發一個頻率的音）來模擬一段話的計算量會有多龐大和複雜。
除此之外，由於人聲和鋼琴本身的音色（Timbre）的區別，就算做到了頻率上完美的對應，發出的聲音也不會一樣。音色不同本質上就是兩種聲音波形（waveform）的不同，你讓鋼琴和小提琴發一樣的音高，你肯定可以很輕鬆地區分兩者。
其實視頻就是很好的例子，把字幕擋住放一邊，你基本上聽不明白它在說什麼（音色的差異和用琴鍵encoding的硬傷）。但之所以我們聽懂了，除了字幕的功勞還有每個人的腦補能力讓你強行覺得它像...
PS.睡前寫的可能比較亂，如果語句不通順請見諒。

古爾德等大師彈琴都會出人聲！不騙你！

-------- 2015 年 6 月 8 日原答案 --------
不同鋼琴鍵按下去，可以看作是音頻信號的線性疊加。鋼琴能彈出的聲音，就是 88 個鍵的聲音的線性組合。那麼從頻域來看，不同頻率的分量也是在線性地疊加的。

一般來說，絕大多數人至少可以分辨出25音分的音高差別，即1/4半音。人說話的頻率大概在 300 Hz 到 3400 Hz 之間，相當於 42 個半音。為了簡單考慮，認為一般人聽別人說話時就是在分辨這 42*4 = 168 個不同頻率的音高的振幅大小。

有一點線性代數的知識的話，就會知道用 88 個鍵音的線性組合是無法覆蓋 168 個頻率的全部可能組合的。這就好比只用兩個 3 維向量的線性組合是無法表示出全部的 3 維向量的。就算某種 88 個鍵音的組合能夠在 300 Hz 到 3400 Hz 的範圍內很接近人說話的聲音，在這個頻率範圍之外是什麼樣的表現也很難說，而這很可能是會改變聽覺上的感受的。另外，這種巧妙的組合也一定是極少數的，不然彈鋼琴時豈不就很容易發出人說話的聲音了。

-------- 2015 年 11 月 8 日補充 --------
非常感謝 @科林貓給出的鏈接，國外已經有人做出了一個通過電腦控制按鍵而可以使鋼琴「說話」的機器人，油管鏈接在此（需梯子）：https://www.youtube.com/watch?v=muCPjK4nGY4 優酷的：http://v.youku.com/v_show/id_XMTI1MjY2NjMy.html 如果不看字幕的話，模擬出的人聲一部分內容可以聽出來，也有部分內容難以分辨。畢竟只用 88 個鋼琴音來覆蓋全部 168 個頻率的組合的話，一定會有很多是需要靠近似的。儘管如此，視頻說明了用鋼琴來模擬人聲是大致可行的。

原來上過一門關於信號處理的課，某次實驗的內容是一個人先錄一段話，然後用 MATLAB 做傅里葉分解，只保留振幅最大的幾個頻率分量。印象中大概保留振幅最大的 5 到 7 個分量，就已經可以大致猜出原先錄音的人想說什麼了。這也不得不佩服人腦的音頻處理功能之強大。用鋼琴模擬的人聲，和真實的人聲相比可能信噪比仍然較高，但是經過人腦功能強大的處理之後，就可以分辨出個大概了。

另外，想靠人手來達到視頻中的這個效果幾乎是不可能的。就算能找到 9 個或更多的人來分別控制每個琴鍵，僅憑人手活動的精度，是不可能達到所需要的按鍵力度和時間的精度的。

你彈琴的時候，旁邊人突然把鍵盤蓋子放下來。

Peter
Ablinger在這方面比較有研究，話說人家是個正兒八經的作曲家=。 =