陳寶權愛奇藝世界·大會演講：影視技術——Whats on the horizon？
陳寶權 未來影像高精尖創新中心首席科學家，山東大學計算機與技術學院院長、軟體學院院長
各位朋友，各位嘉賓下午好，今天非常高興來參加這樣一個活動，前麵湯興博士講到AI大腦在影像視頻方面的工作。這裡，我進一步把AI大腦再稍微打開一點點，看看作為影像製作，大腦裡面到底有些什麼東西。現在幾乎所有的技術，尤其科技前沿的發展都離不開AI，只要有足夠的數據，也離不開深度學習。人工智慧確實是一股潮流，沒人能忽視它。
首先，我們可以簡單的回顧一下影像的歷史。我們知道影像從早期的記錄影像，到活動影像，再到三維的活動影像，趨勢是越來越明顯。從電影的敘事過程來說，技術的進步帶來了內容創作與敘事方式的變化，從早期的線性敘事，到後來蒙太奇式的敘事方式，到現在觀眾參與體驗的這種以虛擬現實、增強現實作為基礎表現形式的未來敘事方式，變化非常迅速。這一切所帶來的內容創作的形式和表現方式都不一樣。
我們看一下影視製作的基本流程，目前大家比較公認的是——前期創作劇本，設計人物形象場景等，然後拍攝製作，再到最後大量的後期製作。這是我們大家目前比較熟悉的一套流程。如果人工智慧技術得到充分的應用以後，這樣一個流程中的每一個模塊都會發生很大的變化。比如，就創作這個模塊來說，我們知道現在基於深度學習的劇本創作已經開始有嘗試了，至少在輔助我們的創作的時候，已經在發揮實際的作用。
在設計這個方面，特別是數字設計，涉及到數字資產的快速生成。我剛剛講到人物、形象和場景，這些數字資產的快速智能化生成也在發生著非常大的變革。那麼，拍攝和製作的這個過程也是一樣，就是影視預演的技術讓我們在拍攝的過程之中就能夠看到我們未來這個影像的效果，而不是等到後期的製作。
那麼後期的特效呢？那就更加要用到人工智慧的技術，而且我跟各位講的是後期特效的這部分可能會變弱，至少現在是後期製作的部分越來越多的回移到前期。未來更多的後期特效是我們現在還沒有體驗到的。
我們來看一些例子，比如說，利用深度學習創作的第一部科幻片《SUNSPRING》，這個劇本完全是採用人工智慧技術編寫出來的，而且不僅是編出來了，還有一批演員真的去演了，是一個短片，這個片子也獲獎了。那麼，這個人工智慧學習的是什麼呢？大概是幾十部科幻片劇，根據這些劇本就學到了編科幻劇的一些特點。
所以這個劇即使是一個短劇，也基本上融合了人類編劇的一些精髓，包括三角戀，有謀殺，還有愛情，全部都有。實際上除了寫一個完整的劇本，在寫作劇本里的一些人物，形象的創作上面，人工智慧的應用就非常的嫻熟了，可以是快樂的小鳥，奔跑的馬，或者在現實生活中沒有見到的這麼一個動物，他們的形象和行為習慣，實際上都可以通過人工智慧來設計。
在數字資產的生成上面，發展就非常的快，這個可能是我本人研究得比較多一些的東西。這樣的一個資產的生成也涉及到人工智慧，也就是說通過學習大量的數據，即大量的已有的資產，來快速地合成新的資產。
比如說，對於幾何形體，不像以前我們只是把它畫出來，但對它是什麼卻並不知道。採用人工智慧，我們開始理解這個形體，理解場景裡面不同的物體及其屬性，比如是一把椅子，是金屬椅子還是什麼椅子；也可以為不同的需求設計一個不同的場景，是一個咖啡館還是一個工廠，都可以按照你所需要的故事、人物和形象需求來設計一個相應的三維場景。對於動態的對象，如人物、動物、植物，這些有動態特性的對象如何快速地捕獲？不僅它們的表象，而且其行為規則，甚至個性特徵，這些人工智慧都能夠發揮非常大的作用。
舉幾個例子。比如說，從這個視頻可以看到，針對一個城市場景，我們可以通過無人機拍攝的影像，快速的重建它的三維，這個過程和航拍視頻沒有太大的差別，但是經過計算機處理，得到的是一個三維的場景。
基於航拍影像的三維重建與漫遊
開著一輛攝影車從街上開過，便得到一個三維的數字場景，這樣一個三維的場景是有非常精確的尺度的。
車載移動激光掃描
再比如說，通過數字測量這些植物，我們便可以生成栩栩如生的數字化樹木，自動識別它們的樹種，而且這樣的樹木隨後還可以對它實現動漫，根據外部物理環境來進行一些行為的控制。
MassiveTrees SIGGRAPH 2011
我們來看看一些行為的控制。比如這裡的一株荷葉（隨風而動的荷葉是一個很有表現力的物體）。
這株荷葉來自於對一株真實荷葉的數字化 – 荷葉被風吹動，我們對這個過程進行三維捕獲。以智能化為理念的捕獲，我們不只是得到了荷葉的三維的表達，更是得到了它的物理特性；是嬌小還是粗壯，莖是軟還是硬，每個荷葉都有它的特性（個性），這些一旦得到以後，我們可以給予它不同的風，不同方向，不同強弱，它的運動形態便可以合成。
灑一串雨滴下來荷葉便隨之擺動。導演按照劇情的需要便可生成荷葉擺動的朝向，強弱，以及婀娜多姿。有了智能獲取，這些效果都是可以控制的。
再比如，人物是我們非常關心的一個資產。這個人物長得胖還是瘦，現實生活中找一個特別符合我們這個人物需求的人物還不容易，但是我們可以通過互動式手段讓它的下巴寬一點點，笑容大一點；總之，這樣就得到了一個三維的人物，這個人物就開始有靈魂了，他就可以來表演。
通過簡筆畫自動生成角色
還有更加複雜的一些物理運動，如將一個物體扔到水裡面所引起的水的各種動態現象。像這類原來需要高性能計算的問題，我們現在可以通過智能學習來解決，至少提高效率。學習的對象是大規模高精度的計算模擬，可能是需要幾千個小時、耗費巨大的計算資源算出來的結果。但一旦學習之後，我們的模擬器便具備了智能；對於一個新的物理場景，我們便可以僅通過少量的計算獲得粗略的運動模式，之後通過人工智慧的方式來合成細節的物理現象。
基於隨機森林的流體對象快速模擬_騰訊視頻 https://v.qq.com/x/cover/s0516yewrrb/s0516yewrrb.html 基於隨機森林的流體對象快速模擬
還有比如人物或動物的運動模擬。這裡是一個比較簡單的二維例子，一個小動物奔跑跳躍不同起伏的地面，跨越不同間隔的鴻溝等。
基於深度增強學習的虛擬角色動作模擬
人工智慧的妙處在於它可以通過大量的學習已有的運動及其相應的環境，然後針對一個新的場景，它就能夠自適應的生成新的運動模擬。想想，傳統的動漫需要動漫師大量的人工操作，而現在有了人工智慧技術之後，年輕的動漫師和藝術家們就被解放出來了，不用整天宅在電腦前，可以多花點時間和女朋友喝個茶（笑）。
剛才說的例子是二維的，人工智慧的能力就是它很快能將學習從二維拓展到三維，它能從對低級行為的學習到對比較高級行為的學習，低級的諸如只是越過一個障礙物，到高級的要實現一個目標，比如找到一個寶藏，比如快捷地走到一個主峰什麼上面去等等，開始有一個更高策略的學習；人工智慧的學習可以分解在兩個層次，一個是高級別、高層次運動策略的學習，一個是低層次比如越過障礙物這樣的運動反應的學習，兩者結合，就能達到更智能的運動模擬生成。
渲染成像是一個非常傳統的依靠純計算純物理模擬的計算場景，而現在也能受惠於人工智慧。微軟亞洲研究院採用深度學習來對大量的不同場景的精確渲染模擬進行學習，來實現對一個新場景的光照效果的預測，從而大大節省計算、提高效率。
三維場景快速生成全局光照和局部打光_騰訊視頻 https://v.qq.com/x/cover/k05165rdcq2/k05165rdcq2.html 通過深度學習對三維場景生成全局光照和局部打光
比如，一個局部的光源的改變，以前的渲染器需要從新啟動完整的計算才能從新生成一個非常逼真的影像，而現在通過深度學習，可以大大節省計算而不影響渲染的效果。如何理解這個，可以想像一下人的經驗；當一個光源移動以後，我們對場景的明暗變化是會有一個預測的，而這樣的「經驗」，現在通過深度學習能夠學到。
還有更多的物理模擬上的應用，比如火、煙霧等。如何模擬這類很精細化的效果需要巨大的計算量；同樣的道理，現在通過深度學習與人工智慧，我們可以針對一個大概設計好的煙霧走勢來合成逼真的細節。而這些細節，非常符合物理的規則，至少是看起來逼真，但卻不是通過傳統的物理模擬計算出來。
利用CNN學習將粗糙煙霧特效生成精細煙霧特效
我所介紹的這些都是我們計算機圖形學領域裡面一些發展趨勢。最近，北京電影學院成立了未來影像高精尖創新中心，針對未來影像的全鏈條製作流程，探索技術創新，特別是採用人工智慧的技術，來改變甚至顛覆現有的實踐模式，從導演到表演到製作發行，具體來講，從數字資產到影視的虛擬製作，到未來影像的顯示系統。比如，未來的智能攝影棚可以利用機器人來控制這個攝像頭，抓住精彩的表演瞬間。
高精尖中心定位國際化。我們中心聘請了國際上最頂級的科學家、業界領袖和最頂級的藝術家。這裡包括兩位美國工程院院士，數字王國的聯合創始人，和夢工廠/PDI的聯合創始人等，從學術界，到工業界都極具豐富經驗的這樣一些頂級專家作為我們中心的顧問。
可喜的是，在中心成立的短短几個月，我們已經在一些影視製作中間運用了先進的技術，比如我們可以預覽拍攝過程，我們可以在一個新的虛擬現實的平台上自然體驗影像的效果。
徐浩峰導演新片《刀背藏身》預演
展望一下未來。我認為人工智慧在影視製作上應該是其智能化最高的一個體現。為什麼呢？因為人眼是最敏感的，人工智慧的技術必須是無可挑剔才能為我們接受。但是人工智慧在影視製作中大有可為。我國的影視工業發展迅猛，已經很快就超過美國的票房。在這樣一個轉折點，我認為影視科技的未來應該是在中國。希望和愛奇藝，和同仁們一起努力，謝謝大家！
觀看完整演講視頻請戳↓↓↓
愛奇藝大會-陳寶權院長演講_騰訊視頻 https://v.qq.com/x/cover/u0515mppf9w/u0515mppf9w.html 陳寶權 愛奇藝世界·大會智能視頻高峰論壇演講
------------------------------------------------------------------
本賬號長期徵集以先進影像技術為主題的優秀原創稿件，稿費從優，歡迎各相關領域從業者、學習者和愛好者踴躍投稿，投稿請寄 contact.fve@bfa.edu.cn
主題涵蓋：
先進位作流程：實時渲染引擎、可視化預覽、數字資產與虛擬角色、智能拍攝、動作捕捉、三維快速掃描與建模、先進位作管理系統等。XR影像內容：VR/AR/MR/全息影像技術及敘事藝術創新等。未來影像技術前瞻：人工智慧、光場技術、體獲取與體顯示技術、機器人與自動化在影像產業中的應用等。高質量影像：高幀率、高動態、高解析度、激光光源、廣色域等。
詳情點擊：高精尖創新中心徵稿啟事
推薦閱讀：