信號處理與數字媒體

下學期就大三了，過兩個星期就要選小方向了。有AI，移動開發，金融軟體，數字媒體，還有兩個忘了，但我應該是要無腦選擇數字媒體了吧=。=

一直搞圖形和幾何相關的東西，這半年也不務正業搞電子音樂和音頻處理，我感覺我的知識體系在擴大，但是也需要更有效的東西來組織它們。

.

.

搞過很多很雜的東西之後，我發現學習圖形音頻等媒體的處理，數字信號處理起到了很關鍵的作用（是時候買本書學學其他系的課程了）。「信號」這一層抽象簡直可以囊括一大堆知識，因為數字音頻本質上是一維定義域的一維標量場（在時間軸上的脈衝序列），數字圖片就是二維定義域的三維向量場(在平面上的RGB像素集合)，數字視頻的圖像部分就是三維定義域的三維向量場（比圖片多個時間軸的自由度）。這就能讓FFT快速傅里葉變換等信號處理方法都能用在音頻和圖像處理上。

.

• 舉點例子說說信號處理在音頻處理的具體應用：
• FFT(Fast Fourier Transform)正逆變換與其他函數結合可以用於製造音頻的各種特效，最簡單的應用的就是EQ均衡器，也可以實現基於頻域的聲音變調（變男聲變女聲），也可以實現降噪等。FFT也是mp3格式壓縮演算法的重要一環。
• 卷積(Convolution)可以用來做混響(reverb)，可以做出類似回聲疊加的效果。
• 再舉點例子說說信號處理在圖像處理的具體應用：
• 傅立葉變換及其各種變體可以用於圖片的有損壓縮（例如JPEG就用了離散餘弦變換來有損壓縮）

.

還有降採樣、重採樣等信號處理的概念也被廣泛應用在媒體處理上，感覺多一層抽象知識來組織其他具體知識能讓人更容易地去觸類旁通啊。

.

.

• 壓限器與HDR

最後說個突然發現音頻處理和計算機圖形學裡面兩個很類似的東西：

混音的效果器——壓限器Limiter

3D圖形渲染的特效——HDR和tone mapping

.

圖：計算機圖形渲染的一種特效——HDR，能表現出更豐富的亮度細節

.

為什麼說像？因為這兩種東西都是把大範圍的信號映射（壓縮、限制）到一個計算機能表示的範圍。所以這兩種東西存在的前提都是——基於電子計算機的信號表示範圍有限。

.

說說音頻處理的Limiter。兩段音頻疊加，其實可以很簡單得看作所有對應時間的採樣疊加，那麼加起來就有可能超出音頻最高電平(0dB)。於是超出部分就會被截斷，就會產生失真，就會非常難聽的電流聲、「爆音」。所以limiter就很關鍵了，可以把高動態範圍的脈衝壓縮在不失真的範圍內，於是媽媽再也不用擔心我混音混到炸音響了。

HDR(High Dynamic Range)也是類似的。引用百度百科高動態光照渲染_百度百科

現實真正存在的亮度差，即最亮的物體亮度，和最暗的物體亮度之比為， 而人類的眼睛所能看到的範圍是左右，但是一般的顯示器，照相機能表示的只有256種不同的亮度。

但是我們可以多拍幾張照片，2張，3張……甚至幾十張，這些照片的曝光依次增大，很多朋友應該可以想到，隨著照片曝光的增大，照片會依次變亮，換一種角度，照片所表示的細節會由亮處向暗處改變。

根據上面的原理，如果我們將照相機拍攝的很多張圖片合成，結果圖片的數量級一般為甚至更多。

這樣問題就出現了，或者更高數量級的亮度只能存在電腦里，而一般的顯示器只能表示個亮度數量級，用256個數字來模擬所能表示的信息，這種模擬的方法就是HDR技術核心內容之一，學名叫Tone-Mapping（色調映射 ）。用Tone-mapping壓縮以後，我們所合成的HDR影像就能很好地在顯示器上顯示了，能給人以震撼人心的效果。

超出顯示器顯示範圍的亮度我覺得也可以看做是一種截斷失真，這時候需要把這麼高動態的範圍映射回顯示器剛好能完美顯示的亮度，就用到了Tone-Mapping。

.

上面兩種東西我還沒細摳，但是他們具體演算法實現的參數都很類似，畢竟原理和思想都差不多。但是我把兩個跨領域的東西聯繫在了一起，感覺有點小激動哈哈！

.

.

.

.

————————分割線————

PS：今天重新混了些之前的作品，結果全特么被網易雲下架，心情很糟:(