如何在現實視頻場景中合成MMD？

01-11

如題，求教大佬需要使用什麼軟體和技術技巧。感謝不禁！

流程上來說大約就是

拍攝(注意動態模糊反光記錄元數據這類)

反求(簡易的用ae就行也可以送進c4d求高階一些pftrack這類 boujou不太好用)

然後mmd那邊導出人物的動畫序列送進軟體(如果ae反求的話乾脆e3d做算了否則就用c4d吧) 燈光按照原視頻布置有條件採集HDRI的直接用HDRI做IBL吧地面啊遮擋啊注意做好簡模來形成正確的陰影和全局光照效果

渲染的話推薦你用octane啊redshift啊這種gpu渲染器否則一幀幾分鐘你幾天幾夜都渲不完這幾千幀

合成么 ae里做咯也犯不著用nuke做比較麻煩主要色彩上的匹配啊還有注意畸變啊噪點啊色散啊之類的哦對了動態模糊記得一定要匹配不用渲染器里渲好直接出運動矢量用RSMB來做就行

總的來說和我們一般做的實景合成沒啥區別該有的技術都有用到如果題主沒有基礎的話就比較難了。。

感覺該說的都說到了吧祝題主成功！

抱歉，先弱弱的問一聲，什麼是。。。。MMD？

感謝「光的白龍」的解釋，在這方面我做的不多，就只補充兩句吧：

1，首先看你準備做什麼類型的片子，如果僅僅是某個短片微電影當中的虛擬角色特效什麼的，鏡頭不多，並且今後也不打算專業從事這個領域，建議用ae合成，畢竟功能強大，教程多插件多（比如運動模糊和色彩匹配的插件），和剪輯軟體的配合也是墜吼的。用到的技術上面有人回答的非常好，我就不重複了。

如果鏡頭量比較大，需要多個人甚至團隊協作，建議用節點式的軟體，ae儘管強大，但在團隊協作方面有天然的劣勢，並且，高質量的角色合成通常需要分層渲染，也就是把泛光層、漫反射、高光、反射等等分層單獨渲染，然後在合成軟體裡面進行疊加，每層分別控制，ae在這類合成時用到的疊加方式的演算法上有些問題，會失真，而節點軟體DFusion和Nuke則很完美，並且在量產（大量相似重複鏡頭）方面節點軟體有「宏」的優勢，產品（鏡頭）一致性上有層軟體無可比擬的優勢。缺點是節點概念對初學者相對難一些，系統的教程也比較少，並且單兵作戰的效率遠趕不上ae。

2，用到的技術補充：如上面白龍所說，既然是角色和實拍場景的合成，那攝像機反求就是最基本的需求，對於大多數鏡頭，ae自帶的反求已經可以應付了，但ae的反求太傻瓜，可控的參數太少太少了，所以對一些運動較雜亂的特寫鏡頭，常常會跟蹤不準確，這就需要藉助第三方的軟體，比如Mocha，比如boujou等等，boujou我用的比較多，對於很多很難跟準的場景，boujou的辦法很多，比如設定黃金點，刪除干擾項，極端的如手動判定運動趨勢等等，但對於自學來說的確是太難了點。

3，合成的技巧包括層疊加的技巧，色彩匹配，環境色的映射，鏡頭虛實關係的匹配，畫面銳度的匹配，這裡解釋一下，畫面銳度的匹配是初學者最容易忽略的部分，三維算出來的物體銳度通常比實拍的要高很多，即使算上運動模糊，但總有靜止的時刻，這就需要合成師根據經驗，減低三維物體的銳度，簡單的就用少量的blur來實現就可以了，精細的這裡不適合談，太煩了。色彩匹配是藝術與技術結合的活兒，比如一些火光、炫彩的特效要映射到角色或實拍物體的身上臉上，太煩了，同樣不適合在這裡講解。

論壇里很不適合講教程，這個案例如果講全了可以寫本很厚的書了，只能泛泛的談些概念，估計對你的幫助也不大，抱歉了。

不用mmd，略懂c4d。

c4d可以通過黑科技導入mmd的模型和動作數據。

如果只是想弄固定單機位不動的話，c4d有個叫攝像機矯正的工具，可以讓你c4d里的攝像機和場景素材的攝像機焦距角度重合，再加上一些陰影，打光，環境吸收，就能比較好的和實景融合了。

如果是想弄移動的，這個難度就比較大。可以用攝像機追蹤，然後再進行調整。

網上有許多c4d的教程，逸站也有mmd2c4d的教程。

c4d弄好後，就用ae合成，調色，等等，然後你的視頻就完成了。

說不了太多，祝你能做出自己滿意的視頻（

抱歉不是很懂用詞，望指正（

有個最簡單的辦法，就是你的攝像機鏡頭不要給特寫。只給全景，這樣特效處理不難。流程如下：

1.保證MMD攝像機與現實拍攝場景相機角度類似

2.MMD背景換成綠背導出（視人物的主色調而定）

3.ae里將原素材視頻做攝像機跟蹤，將MMD導出的視頻合成上去。

大致就這個樣，我比較粗糙的演示一下。

網格做地面參考，可以去掉。

不知道GIF能不能看。。。

首先，用手機錄一段視頻。

然後用pe把視頻轉換成tigra序列幀

用c4d中的運動跟蹤功能導入序列幀，然後跟蹤自動軌跡，之後用3D解析，完成之後就完成三分之一的，這個是比較費時間的看電腦配置好壞。

之後插入一個平面，沖齊地面，基本步驟就算完了。

現在要插入烘焙好的MMD模型，調整模型大小，把模型放到平面上，只要做好第一幀，剩下的所有幀都會自動做好，最後渲染出來用ae再合成視頻，然後再後期處理什麼的。

就是大體概述一下，真正想要做出來還是比較費時間的。

放一個作品你可以看一下這樣做出來的效果

http://m.acfun.cn/v/?ac=3420931?from=singlemessageisappinstalled=1

有個AE的腳本可以把攝像機數據導出到MMD，用MMD渲染然後再合成就可以了。

不過實際使用時，渲染出來的人物抖動很厲害，根本不能跟上攝像機的移動。懷疑是AE攝像機跟蹤的問題，但是AE內添加的文字跟蹤得很好。另外導出到C4D的跟蹤也很好。

如果追求效果，建議使用C4D。但是渲染會很慢很慢！

用MMD的話比C4D快很多，但是你首先得解決我前面提到的問題（希望這只是我自己的問題）。

最後給你我自己漢化的腳本 https://git.oschina.net/ysc3839/codes/xa9yo34q2wpfh1ljcenbu21