VR動畫的製作工序是怎樣的？

12-17

相關問題——Google Spotlight Stories 是如何製作的？
VR動畫和傳統動畫、電影的區別我寫在這了——《傳統電影和球形電影（全景視頻）、VR電影相比有什麼本質區別？》，簡而言之就是傳統動畫是渲染好的，VR動畫是即時渲染的，帶一點兒交互，所以要用到UE4。
—————————————————————————————————————

場景設計

原畫師畫出場景風格

產品設計師規劃場景功能
Henry的home的草圖，像這樣一張草圖就屬於product designer的輸出物。

交互設計師給出低保真原型

……經過討論後給出高保真原型

給場景換上不同燈光

室外場景設定

角色設計

美術師進行早期的造型設計

產品設計師給造型定義功能

模型師建草模

原畫師刻畫細節

草圖→
原型→
最終效果

最終效果

劇情設計

動畫師畫出整個storyboard。（因為工作會有很大的時間成本，所以早期需要用storyboard快速迭代。）
顯示塑造整個場景，一個家。然後henry的身影出現在窗口，

出現在門前

henry拿著禮物出現~

抱起一隻兔子

然後是preview。因為即使在storybroad上看上去效果很好，在VR中不一定效果好。

製作過程：建模→
動畫→特效→表層→陰影、燈光、交互、渲染

已經存在的工具。
用Maya、mudbox和zbrush建模。

轉場

《VR動畫和VR電影的轉場（transition）、過渡有哪些方法或表現手法？》
在UE4中寫了個stage manager來跳轉畫面。當一個確定的event結束後接下一個event。

調整模型

優化engine

光照

無論是一個精雕細琢的character還是一片美麗的sence，都會消耗非常昂貴的渲染資源，起碼保有足夠的渲染預算才能不掉幀吧。

注意Henry腳下的shadow

這裡的shadow就顯得有點銳利。上午的時候太陽升起來，光線的照射強度和銳利度都增加。

這種shadow就非常cheap非常快。

不同材質下的shadow。

空間層次

陰影

對於渲染預算來說，陰影是第二貴的。
為了達到吸引眼球的效果，在眼球下方加了陰影。

加上眼皮上的陰影。

你可以看到它的cornea上的高光。

製作工具的限制

比如他們在製作《Henry》和《Lost》的時候都是用平面的屏幕來做的，但是最終產出的媒體是VR。（oculus最近出了個VR繪畫應用，他們應該以後也會用這個來畫VR版的storyboard。）
讓製作者快速找到感覺，然後反覆探討、給director過目，獲得反饋，快速迭代。

完成

比如這個朝著你傾訴的Henry，因為rift上帶了position tracking，所以我四處晃了晃，然後Henry的眼睛一直望著你傾訴！新版的《henry》，無論你的頭部在什麼位置，它都會盯著你，就像傳統遊戲中你靠近一個NPC的時候，NPC會看著你，你轉到他背後，他的身子也會轉過來，然後轉過頭來看著你。
片頭

Henry慢慢走出來

從而調動你的情感訴求。

當它點亮生日蠟燭之後，

燭光便四處亂竄

然後氣球全被點亮了。

henry看呆了

你可以跟著氣球們在場景里走動，這樣就產生了presence的感覺。
氣球繞著Henry跳起了舞

Henry大喜之下

咬破了氣球，燈黑了

1.完整文章鏈接：製作一部VR電影會經歷怎樣的過程？ |VR第一資訊 VR013

不少 VR 領域的從業者都認同這樣的觀點：娛樂型應用是 VR 領域的一個最重要突破口，也是最有可能首先盈利的。這樣的言論下，最直接的結果是，圍繞 VR 內容方面的創業者與討論越來越多。一個直觀的案例是：從 2012 年美國聖丹斯電影節上第一次出現 VR 電影開始，到 2016 年，參展影片的數量已經達到了 33 部。

VR+電影顯然是一個被看好的方向，但 VR 電影又不僅僅是在屏幕上講一個好故事那麼簡單。內容與技術發生碰撞，VR 電影如何講一個好故事？

在「當資本遭遇技術：2016，VR 真的會爆發嗎？」活動中，北京聖威特科技有限公司創始人楊濤和微影時代副總裁陳海峰、追光動畫 VR 短片《再見，表情》的導演米粒，一起探討了有關「VR+電影」的諸多問題。

極客公園：具體來講，「VR+電影」如何創作？

米粒：其他大公司在交互上投入了非常大的力量，交互會走一些敘事的捷徑，我們目前希望做的事情，是在交互盡量少的情況下，如何講好故事，同時保持觀眾的注意力，跟上我們設計的敘事節奏。

我們一直在傳統與前沿科技之間找平衡，VR 作為一個以沉浸式體驗為主要特點的設備，是它先天性的優勢，但是如何利用這種優勢講故事，是我們目前行業內一個基本空白的狀態，我們更多的注意力是在故事和體驗之間找到平衡，為了控制時長，我們會比較克制地去使用交互，盡量利用各種各樣的手法引導觀眾關注我們的故事。

另一點我們在製作過程中發現傳統的視聽語言受到限制，很多視聽語言在 VR 中失效，剪輯的功能就失效了。製作過程中間我們有大量的手段嘗試用這些手法在 VR 應用中，目前發現是失敗的。當觀眾處於 VR 環境里，會認為自己切身地在那個環境里，一旦出現剪輯的話，觀眾會覺得自己像閃電俠一樣移來移去。我們使用過很多方式，黑場、閃白、淡入、淡出進入這種轉換，但是絕大部分還是在場景里。

屏幕快照 2016-02-03 下午5.40.54.png

(VR 短片《再見，表情》）

交互的處理上我們是非常克制的，觀眾體驗我們短片的時候，幾乎沒有跟電影角色里非常強的互動，更多的是通過聲音，通過光，甚至通過主角的各種調度和位移來引導觀眾，從本能的一些反應來讓他們關注故事的發展和跟進這個角色的表演。

另一方面，我們在聲音的交互上也做了一些嘗試，這在今天的 VR 上也能夠體現，我們實驗室在 VR 動畫短片上使用目前電影新的技術，比如全景聲方面的體驗。我們不太想依賴簡單的耳機，雙聲道的系統來體驗 VR 的聲音。

接下來比較重要的是沉浸感和儀式感。做 VR 動畫短片的一個非常大的問題是觀眾的自我認知。很多觀眾在看 VR 短片的時候，很大的問題是「我是誰」，我在這個故事裡到底是什麼樣的角色。我們在設計動畫短片的時候，劇本開始就有考慮到這個點。在剛開始的時候，故事創作設計了一個更像是一個會場的環境，當觀眾戴上眼鏡之後第一個反應我在一個會場里，我處於類似電影觀影的場景，觀眾會覺得是觀眾的視角，不會認為我自己是主角。因為很多觀眾戴上 VR 設備的時候，信息量非常大，他會看周圍的環境，在剛開始的前一兩分鐘讓觀眾進入故事是非常困難的，我們更多的重心是如何讓觀眾先進入這個場景，以最快時間明確自己在故事裡的身份，這樣更容易讓故事正常的進行下去。

極客公園：VR 電影遊戲化和遊戲電影化相比，誰更容易走得通？

米粒：遊戲電影化這件事情在遊戲持續非常長的時間了。有一家法國公司很早做遊戲電影化，已經非常深入探討遊戲電影化的趨勢，包括一些玩家做的選擇產生的效應，你會有 20 個甚至更多不同的結局，讓玩家體驗遊戲的時候產生不同的體驗。遊戲電影化這件事情對於 VR 來說是一個比較容易的事情。因為它只是將內容搬到一個新的交互平台上去，但是電影的遊戲化是一個相對空白的區域。我覺得從創造內容上來說，還是要學習好萊塢。好萊塢已經將電影和故事的類型化推到非常高的平台級別，已經能夠在內容層級上對觀眾進行非常細緻的劃分，對他們所產生的內容進行基本的一個相對準確的預判。

楊濤：從另外一個角度看，我感覺遊戲和電影這兩個東西都是建立在屏幕的基礎上，是建立投影儀和電視上面，而 VR 全景的東西，我自己感覺是改變完全底層的東西，生長出來的到底是電影還是遊戲，這個需要改變思維方式。我們現在從底下往上去走，還是已有的方塊往下去走，這個我現在不好說最後結果什麼樣，但一定是全新的東西。

極客公園：在 VR 電影方向上來說，好的故事與新鮮的體驗哪個更重要？

米粒：都挺重要的，視覺上的刺激和體驗是 VR 延伸出來的一個優勢。如何在這樣的優勢下去創造故事是一個難點，我們覺得未來觀眾進電影院去看 VR，一定是帶著這兩方面的期待去的。有很多的故事並不是需要 VR 的方式才能得到最佳的體驗，我們很多時候還是希望能夠以第三人稱，置身事外的感覺看別人的故事，所以有一類的故事需要我們沉浸感比較強，一旦觀眾選擇 VR 的方式去觀看一個電影，他一定是有兩方面的期待，兩方面的平衡還是需要我們未來在不停的嘗試和各種探索。

楊濤：和電影的發展歷程很像，技術的新鮮首先吸引大家的關注，在產生需求的基礎上，後面才是真正提升故事性和劇本的階段。

極客公園：VR 市場上賺錢的方式可能有哪些？

楊濤：國內市場來說，如果要是沒有極大誘惑力的話，靠硬體去盈利。在 VR 領域可能短期之內會依靠硬體盈利，但是一旦盈利就會面臨免費的衝擊。後面具體怎麼盈利，以 2016 年年初的眼光看來，可能只是傳統的這些模式，靠廣告、版權，一些授權，或者體驗店的形式，這些可能是可見盈利的手段。

陳海峰：有很多方式，很大一部分可能會跟內容本身關聯度會很高。平台這個東西將來是掙平均利潤，未來可能這些利潤的差異會來自於內容的不同，或者是最終提供一種服務的差異，這是未來真正盈利的一個效果而且在某一天真正可以從 C 端上掙到錢了，這個行業才算真正在消費層級上站住了，可之前會燒很多錢。

2.克服VR眩暈之幀數：提升UE4內容實時渲染效率 |VR第一資訊 VR013

克服VR眩暈之幀數：提升UE4內容實時渲染效率

VR已經成為了當今最火熱的一個話題，帶上頭盔之後，從此進入一個奇妙的世界，在這裡你不再是觀眾，你參與這個世界發生的每一件事件。整個世界從此與眾不同。在賽道上飛馳，在戰場上縱橫
但是生理機制讓我們的大腦在身體並沒有移動，而視覺在不斷告訴我正在飛速前行的迷惑中產生了暈眩。如何解決因為VR而產生的眩暈，就成為每一位設計師需要面對的問題。

引起VR眩暈有很多原因啦，比如設計上的，技術上的。渲染的幀數高低必定是其中一個最主要的原因之一。關於UE4里對VR內容的優化方法和思路大部分是和傳統的3D遊戲優化是一致的，有部分是VR尤其相關的。接下來就以oculus為平台和大家一起分享一下在UE4里常見內容的一些設置和優化的思路和方法.

首先我們來看一個優化過程的實例，先有個大概的了解。打開一個UE4下載的項目，particle cave， VR preview，帶上眼鏡就能體驗了，對，就這麼簡單，雖然說這個並不是一個針對VR的項目。

這裡做了一些簡單的設置
1、發現攝像機是以預設軌道在飛，而且明顯感覺幀率不高，哦，好暈。為了比較方便衡量接下來優化，我做了一些攝像機的設置，讓攝像機開始遊戲後固定在一個我認為幀數最低的畫面。
2、確保幀數沒有被限制住，關閉垂直同步，把最高幀數限制上限提高好了，再run一下，固定住了，轉轉頭可以，hmm。。真的挺卡的

再接個命令證實一下，最直接和GPU渲染效率有關的就是解析度嘍
HMD SP 100 54FPS
幀數立馬提高不少，果然是GPU渲染瓶頸

降低渲染品質
Adjust scalability to medium 72FPS
成功了？還沒有哦，這個太暴力了
這個肯定不是最優的優化結果了。因為肯定有些可以進一步做大量的優化，有些和視覺相關比較大的調整可以提高質量。而非粗暴的都調低了，那接下來就得找原因了

打開GPUprofiling: (Ctrl+Shift+,)
看下最大的GPU開銷在哪裡

Base pass: Deferred Decals

Lighting: ReflectionEnvironment:

Translucency: Postprocessing:

從最大開銷的幾個點入手
BASEPASS: 敲入幾個渲染選項命令行：
r.Earlyzpass 1：增加draw calls和一部分GPU的消耗，但大大降低base pass的消耗
關閉了一些不需要的PP效果
一套最優POP設置組合：

Postprocessing setting:

Scene color;

Fringe intensity 0

Grain intensity 0

Color grading intensity 0

Bloom setting

LPV 0

Ambient occlusion 0

DOF Method Gaussian, 其他參數全部 0

Motion blur all 0

AA FXAA

SSR 0 MAX roughness 0.01

Ambient cubemap 0

再VR preview，
嗯，還是75，當然了，DK2上頂格是75，再優化看不出效果
13.39ms 75FPS

把品質調高成high Scalability high，還是75，哈哈，沒問題！
現在算優化完了吧？其實還可以再優化，這時候的優化就是以盡量提升畫質但不降低幀數為目標。

看看哪些還可以優化的? 當然有 !之前的Translucency花費好高
Viewmode： shade complexity 好紅, 一堆overdraw
Decal的花費也很高， Stat scenerendering, decals in view
環境反射的花費很高: 選中sphere reflection capture，看一下總共有幾個，觀察他們影響範圍是否重疊嚴重

Vertex intensity：好密啊。高密度的三角面幾乎看上去就像一個實體了，一個三角面的大小在屏幕上的面積小於2*2個像素就會極大的增加開銷
還有Particle 。
現在基本上已經定位到可執行層面的原因了，一些原因也已經通過可接受的渲染參數調整解決了；另外一些就必須要artist來優化Assets本身了。
哪些工作最快，質量損失最小，能夠換其他更能提升品質的選項。
啟示他們並不需要這麼多面，assets的優化需要更多的時間。把scaleability有些選項提升到EPIC，當然他們並不是全部

一些引起DRAW CALL數量多的原因

同屏看到的Actor太多，如果材質複雜這個因素還會加成。合併Actor，尤其是中遠處

材質ID太多(or Section; Mesh elements)。重用材質貼圖，盡量把同一材質物體合成為一個物體

每個actor上的feature太多。主要是增加投影的屬性，增加custom depth的屬性

太多燈光投影（這裡投影的消費來自於需要計算哪些物體需要被投影）

MESH DRAW CALL往往是個大頭，MESH ID 的數量可以在STATISTICS統計可以很方便的查看，從經驗判斷哪些資源製作不合理

關於ACTOR設置feature會增加DRAW CALL數的是投影和custom depth，可以通過一些工具來檢查這些設置。使用property matrix來過濾，檢查，並修改

另外一個經常使用的查找原因的方法排除法
通過隱藏各種元素，尋找哪個是導致DRAW CALL數量的大頭
記得隱藏HUD，有的時候HUD也是個大頭之一
Showflag.slate 1
如果是GPU瓶頸，最快速的驗證方式就是改變解析度，降低解析度可以極大提高幀數。為了抵消畸變糾正而產生的圖像模糊，或者解析度的丟失，在渲染的的buff里往往是實際屏幕尺寸的120-130%，這樣增加了圖像的銳利度，但降低了渲染的速度。
HMD SP全稱是HMD 的screen percentage，這個參數就是來修改渲染buff的尺寸的，HMD SP 120是默認值，改成100看看。
如果像剛才例子看到的，幀數有大幅度的提高，那就是GPU負擔太大的問題了，如果解析度的改變對於幀數影響不大，很有可能是因為面太多了。

對這些內容重點做檢查，看看有沒有超標的現象出現

解析度

HMD SP

投影貼圖

面數/點數（燈光的多少，陰影的設置，多少物體）

LOD,關閉shadow，燈光屏幕面積

面數密度太高，高到一個三角面小於2*2的像素，這個往往發生在遠處物體

點處理，點太多

點動畫的shader太複雜

tessellation太複雜

太多UV，太多SG

查看staticmesh editor里點和面數的差別是否大

點沒有合併等

view cost（HZB occlusion culling）

Precumputed visibility volume

Scene cost GPU particle simulation

材質複雜度

quality switch，sin, pow, cos, divide, Noise很費

由於Texture 太多，太大 Texture caching反覆的page in and out of 顯存

遮擋的culling計算

Precumputed visibility volume

延遲燈光

當使用lighting function，IES，接受投影，區域光，複雜shading modes的時候會變得更貴
反射ssr有問題，關掉。後期， AO，很費

知道哪裡有問題了，接下來就可以著手行動了，但之前做個目標規劃還是可以事半功倍的。
最小化圖像質量妥協，是一種有的放矢的妥協策略。比如高質量的陰影對於高品質的抗鋸齒而言對於最終項目實際的表達效果次要。減小陰影品質來換取高品質AA就是一種有的放矢的妥協策略。因此盡量大的減小不是非常關心的渲染品質部分，增加更可見的渲染品質部分。
從容易做起，從開關一些渲染選項，品質參數調整，到直接刪東西，優化一個用到幾百次的物件，這些都是立竿見影的方式，這樣可以做允許的時間計劃內完成目標，如果有更多時間和預算可以對相對低性價比的。
目標75幀是必須的，不要說68，70，都不行，必須75，做實際體驗中有很大區別。

最常見的問題所在

測試環境不合適，燈光沒有build

Actor或者材質ID太多

面太多，沒有任何的LOD設置

燈光使用沒有節制：各種動態投影，燈光類型隨意

沒有合理的設置CULL的條件

透明太多

Postprocess太高級了

這些原因又互相影響，一方面的增加也會增加另外方面的開銷

其他一些VR的特有行為

VR 需要畸變色差糾正

VR需要雙屏

VR需要更大的渲染解析度

VR需要傳遞感測器信息

比如對於oculus部分是在驅動層級做掉了，比如如何糾正畸變，如何雙屏，如何傳遞感測器信息。
對於感測器信息和視頻匹配的準確性，以及渲染的屏幕覆蓋率，在UE4里是可以根據需要來修改的，除了這些，其他就和以往的優化思路一致了。

創建測試環境。找原因

Testing in a stable enviroment

run Standalone game

use pause or slomo 0.001 to prevent random numbers

Measuring few times

確保幀數不封頂

s.Vsync 0

s.MaxFPS

了解瓶頸

GPU瓶頸

profileGPU（ctol+shift+,）

解析度

HMD SP

投影貼圖

面數/點數（燈光的多少，陰影的設置，多少物體）

LOD,關閉shadow，燈光屏幕面積

面數密度太高，高到一個三角面小於2*2的像素，這個往往發生在遠處物體

點處理，點太多

點動畫的shader太複雜

tessellation太複雜

太多UV，太多SG

查看staticmesh editor里點和面數的差別是否大

點沒有合併等

view cost（HZB occlusion culling）

Precumputed visibility volume

Scene cost GPU particle simulation

材質複雜度

quality switch，sin, pow, cos, divide, Noise很費

遮擋的culling計算

Precumputed visibility volume

延遲燈光

當使用lighting function，IES，接受投影，區域光，複雜shading modes的時候會變得更貴

反射ssr有問題，關掉，後期AO，很費

cup瓶頸，CUP GAME瓶頸

stat game

AI複雜度

raycast

物理

內存分配

CUP RENDER瓶頸

stat scenerendering

材質ID太多

重用材質貼圖，盡量把同一材質物體合成為一個物體

actor太多，如果材質複雜這個因素還會加成

合物體，尤其是中遠處

每個actor上的feature太多，比如增加投影的屬性，增加custom depth的屬性

太多燈光投影（這裡投影的消費來自於需要計算哪些物體需要被投影）

找到瓶頸的方法

stat unit

disable一些stuff，然後看效率上的區別

一些可調的show flag

開關屏幕反射

開關AO

開關AA

開關bloom

開關延遲燈光

開關動態陰影

開關GI

開關後期

開關環境反射

開關折射

開關貼畫

開關半透明

開關tessellation

viemode

ProfileGPU

ProfileCPU

stat game

stat scenerendering

Profiler

後期優化首選項：

Scene color fringe;

ambient cubemap,

image based lens flares;

LPV off;

Grain intensity,

DOF off,

ssr off,

or roughness 0.01;

Motion blur off

最後選擇的參數需要應用到DEVICE PROFILES里或者BP里

減小 shader的 instruction的數量
減少Texture sample的數量：把經常使用到同一個物體上的Pattern合在一張貼圖上；去掉對質量影響很小的貼圖，比如Specular，AO在實際情況中平衡來使用
使用quality switch，sin, pow, cos, divide, Noise，多向量的計算總是大於單向量的計算

UE4里由於使用了延遲燈光，所以燈光的優化比前向渲染方便的多。最快速最有效的方法：使用靜態光源。
如果使用的事動態光減小 Lighting cull，半徑，衰減，Z INTERSSECTION, cone大小角度。總之盡量減少重疊

投影的開銷最大往往不是來自於pixel shader，而是來自於被投影的mesh面數太多，還會被燈光數量，投影物體數量放大
關閉投影的燈光；減小範圍或張角；減面，加LOD
r.Shadow.MaxResolution

創造性作假：

三角面：

遠處mattinpaiting

投影面片，畫在貼圖上

一個作品的優化不是一朝一夕的事情，需要確定目標配置：確定最低配置，配置範圍小，這樣的優化才更有針對性，並且學會在開闊的視野在設計時需要巧妙的避免不必要的內容，學會如何制定Budget：質量優先驅動；快速原型製作；分析制定
對內容製作者前期的培訓花費是值得的，完成這些工作之後，一個高品質的VR作品就會誕生。

---------------------分割符---------------------

QQ群號：544405366

---11.24---
很多人說沒有視頻，謝謝開眼團隊給了我們推薦，先看視頻
Eyepetizer | 開眼視頻

----11.15-----
圖是我們視頻背後的總結。

我們剛發布的實時渲染VR動畫短片《拾夢老人》（The Dream collector)的背後製作過程，長圖，算是詳細，有一些參考價值。

http://v.qq.com/x/page/h0346cqrwdn.html (二維碼自動識別)

首先得有一套動補系統，捕捉人物在空間範圍內的運動，而不是只是在一個平面內的畫面。還有場景的搭建就更加要求嚴格了，對模型面數要求，對貼圖要求，對程序要求，要在效果和效率方面達到平衡其實很不容易。

作為一個不做VR動畫但是又不勝其擾一天到晚被問VR動畫做法的苦主稍微講幾句

VR動畫要立體不立體那叫全景動畫，不叫VR,
要立體就得有視差，要是拍攝就是雙球（而且得是模擬人轉身下的360全景球*2,尼瑪再有人說他們是真VR視頻抽死他就好）
要是CG就只能是實時，渲染不是不能做難度同上

簡單點的做法，參考cardboard sample裡面的風吹小老鼠小紅帽你可以理解為全景圖配了mattepaintng, 類似電影的3d轉制，其實效果是比較好的，我覺得這個做法有一定市場和相當的實用性。

實打實就是引擎直接幹了，坑點不少，主要是怎麼盡量的貼近真實渲染效果，骨骼導出也是不小的問題，不然各種牛逼rig全白費，當然採用abc三維序列也是個辦法，就是數據量嚇人

有很多陰損的簡化方法和畫面調教，都屬於know how, 人家不會告訴你，只能自己體會。

VR本身技術難度不大的，其實也就是個in engine animation,倒是畫面效果什麼的非常考驗基本功，我看了國內不少在做的，普遍不夠好，不聊畫面效果，幀率和防暈眩方面不佳，vr設備上開發的第一定律就是不要讓用戶有非自身控制的相機運動動畫，但是國內動畫公司還tmd就喜歡用鏡頭動畫，無一不死，暈死。

幀率么，VR開發的指導意見是60fps, 嗯我知道各大動畫公司都在採購好顯卡，但是我告訴你們然並卵！哈哈哈
好了吐槽吐開心了，閃