CVPR 2018 論文概述：有損壓縮視頻的多幀質量增強方法

本篇論文為CVPR 2018年錄用論文《Multi Frame Quality Enhancement for Compressed Video》。在該論文中，北京航空航天大學碩士研究生楊韌和導師徐邁副教授等人提出了一種針對有損壓縮視頻的多幀質量增強方法（Multi Frame Quality Enhancement, MFQE）。該方法彌補了原有的視頻/圖像質量增強方法僅將某單一圖像或視頻幀輸入深度網路的缺點，充分利用了視頻幀之間的相關性以及有損壓縮視頻不同幀間的質量波動的特性，顯著提升了視頻質量增強的性能。

論文鏈接 http://arxiv.org/abs/1803.04680

該研究項目主頁（含代碼） https://github.com/ryangBUAA/MFQE.git

近年來，視頻在互聯網上的傳播愈發頻繁，人們對高清視頻的需求也越來越大。由於網路傳輸帶寬的限制，視頻必須經過壓縮編碼才能在互聯網中傳播。然而，壓縮編碼不可避免地會給視頻帶來失真，這會嚴重影響視頻觀看者的主觀感受。因此，針對有損壓縮視頻，研究一種有效的質量增強方法是十分必要的。

有損壓縮視頻和圖像最顯著的區別在於，視頻的內容具有非常強的幀間相關性，並且由於壓縮編碼的特性，壓縮後的視頻不同幀之間往往質量存在波動。基於壓縮視頻以上特性，本文作者提出充分利用與當前一幀相鄰（及內容足夠相關）並且質量好於當前幀的視頻幀，來幫助當前幀進行質量增強。如圖 1 所示， 圖 1 上方的綠線為HEVC壓縮後的視頻各幀的質量（PSNR）。此處定義峰值質量幀（Peak Quality Frame，PQF）為其PSNR值為局部波峰的幀（如圖 1 中的第93幀和97幀）。PQF以外的其他幀定義為非峰值質量幀（non-PQF）。當處理第96幀（non-PQF）時，將其相鄰的PQF（質量更好的幀）與其一同輸入本文提出的MFQE方法，第96幀（non-PQF）的質量（如籃球）即可被顯著增強。這是由於充分利用了相鄰的PQF中的相似內容。從圖 1 中可以看出，本文提出的MFQE方法的效果（圖 1 最下排中間）明顯好於2017年的最新視頻質量增強方法DS-CNN（圖 1 最下排左邊）。此外，還可以看出，經過MFQE演算法進行質量增強後，壓縮視頻的幀間質量波動也明顯減小，這也有利於提升主觀感受。

作者研究發現，各種視頻壓縮標準壓縮後的視頻均存在較大的幀間質量波動，如圖 2 所示。在本文視頻庫（共70個視頻）中分析發現（表 1），不同壓縮標準的幀間PSNR波動標準差（STD）均達 1 dB 以上， PSNR平均相鄰波峰波谷差（PVD）也大多在 1 dB 以上，這充分證明了有損壓縮視頻幀間質量存在較大波動。此外，波峰間距離（相鄰兩個波峰相隔的幀數）平均都在6幀以內，說明相鄰兩個PQF間視頻內容有很強的相似性。以上分析說明，利用周圍的 PQF 來提升 non-PQF 的質量是十分可行的。

由於有損壓縮後的視頻觀看時無法獲取原視頻，無法在質量增強前獲得每幀的PSNR值。因此，首先需要研究一種無參考的PQF檢測演算法。考慮到PQF是相對於相鄰幀質量較好的幀這一定義，本文將當前幀和相鄰四幀（共 5 幀）均使用 [Mittal et al. 2012. No-reference image quality assessment in the spatial domain.] 中提出的無參考質量評估方法提取出特徵，並將 5 幀所有特徵放入 SVM 分類器訓練，最終預測出當前幀是否是 PQF。該方法預測PQF準確度很高，在HEVC壓縮視頻中的準確率如表 2 所示。

本文MFQE方法的演算法框圖如圖 3 所示。通過上述PQF檢測器對PQF和non-PQF進行檢測分類後，首先利用運動補償子網路（MC-subnet）補償當前的non-PQF與其前後的兩個PQF之間的時域運動，使以上三幀相似內容處於相同位置。再將補償後的兩個PQF與當前的non-PQF一起輸入質量增強子網路（QE-subnet），最終即可得到質量增強後的當前non-PQF。對於PQF，由於周圍沒有質量更好的幀，所以僅使用單幀質量方法DS-CNN對其進行質量增強。MC- 和 QE-subnet 的網路結構圖如圖 4 所示。由於MC- 和 QE-subnet 均為深度學習網路，所以兩個網路可以進行端到端的聯合訓練。

本文提出的MFQE演算法在測試視頻上的質量提升效果（PSNR提升）如表 3 所示。可以看出，本文的MFQE演算法的質量增強性能明顯好於原有的最新對比演算法。圖 5 和圖 6 分別展示了MFQE演算法在PQF、non-PQF和VQF（峰谷質量幀）上的質量提升效果以及使用MFQE演算法提升質量後幀間質量波動情況。從中可以看出，non-PQF上的PSNR提升明顯高於PQF，這是因為non-PQF在相鄰的PQF的幫助下更好地提升了質量。這樣也可以減輕幀間的質量波動，從圖 6 中亦可得到相同結論。質量增強的主觀效果如圖 7 所示。