有哪些辦法將圖形轉化為聲音?
問題補充: 我們經常可以看到將聲音處理成波形的軟體,那麼反過來,是否可以通過波形來導出一段聲音呢?本問題來自於該風景圖片:
天然的樹木山峰及其倒影看起來恰如一段聲音的波形,於是想知道「聽起來是什麼樣的」。
有這樣的設備,這種新的設備能夠將圖像轉換成聲音,引導盲人通過聽覺 「看到」 周圍的世界,解釋事物、人物甚至是表情。
這個設備叫vOICe,看起來像一副墨鏡,但它實際上是一個頭戴式攝像頭,捕捉盲人周圍圖像,然後由圖像處理演算法提取邊緣、形狀、色彩等信息,將多維的圖像轉換成一維線型的聲音信號,成為盲人可以明白的 "音樂"。
音量和音調的變化,主要取決於周圍場景的亮度、顏色和對比度。
具體的報道,請見以下鏈接:
http://www.innovationnewsdaily.com/1373-headset-creates-soundscape-blind-people.html
http://amazingnotes.com/2012/02/22/sensory-substitution-device-helps-the-blind-to-see/當然,圖像是多維數據,聲音是一維數據,這兩者之間的映射,本來就沒有確定的關係,所以映射函數其實是見仁見智的,沒有一定之規。唯一的原則,大約就是轉化出來的音樂要有一定旋律和美感,不能成為噪音。
sorry最近才上知乎,希望還得及回答你。據我所知,FL Studio自帶一款叫做BeepMap的插件可以將圖形變為聲音。
以下為收集的資料:
水果插件手冊之六:BeepMap
剛Google了一下,有人thesis project 做過這個 Music In Images- Algorithmic music production from digital images 。按照他介紹的,基本思想就是講圖像pixel-level的一些屬性(brightness, saturation, hue, color variation etc.) 映射到音樂空間的一些屬性(melody,chord,duration,tempo etc.), 具體映射方式,應該他有一套自己定義的函數。然後播放的方式,是raster-scan 所有的像素。
還有一些用line-scan的:
1)Photosounder.com
2)SonicPhoto - Convert pictures to sounds!
上面兩個的demo是youtube上的,可能需要翻牆。
之前還看到過以色列一個科學家,把一些簡單圖片(數字,字母)轉換成不同的聲音,之後培訓盲人,讓盲人能夠分辨不同的聲音對應不同數字圖片,最後盲人也就基本能讀懂我們正常人看的書了。
這個牽涉到人類視覺感知和聽覺感知的轉換,特別是視覺感情和音樂感情的映射。感覺想要做好,需要了解一些認知科學,腦科學和心理學的一些知識。想法挺有意思的。
可以把圖像通過matlab轉換成頻譜,再用頻譜生成聲音。
但頻譜生成聲音的過程我也很想知道大概怎樣操作,這學年的project就是研究圖像轉換聲音,希望有想法和建議和我交流QAQ,謝謝啦!
色彩分割 圖形計算 生成byte數組 再通過各種本地方法轉化成音頻。
邊緣識別 + MIDI擬聲合成。
就這幅圖而言,估計是一段雜訊。
這家公司做的東西 http://www.muvee.com/en/ 和你想要的東西相近。我沒有用過,但聽過創始人 Peter Kellock 對此產品的介紹。你自己看看吧。
推薦閱讀:
※清晰度、對比度和銳度之間有什麼區別?
※人臉識別相關有哪些重要的國際會議?
※使用兩張角度不同的靜態圖像合成連貫的動畫,難度有多大?
※如何通過自己的努力進入微軟亞洲研究院工作?
※如何把真人照片處理成 GTA 5 的風格?