關於非實感圖形學或者風格化渲染有哪些好的書或者paper?

如題,在大學時代時曾讀過一本《非實感圖形學》,感覺這本書在非實感渲染方面是一本很優秀的入門教材,但這本書對於3D渲染部分講的比較少,基於Gbuffer或者說延遲渲染框架的就更少了。畢業做了一段時間computer vision相關的研究課題,感覺這個領域倒是有一部分人在做有關的內容,但和我的研究方向不一樣所以也沒做太多了解。最近想了解一些關於這個領域(尤其是對3D內容的渲染方面)的最新的研究進展,諸如卡通化,水墨畫,水粉,素描,描邊,日本漫畫式的對話框之類的風格化渲染。請問有沒有一些比較好的相關書籍,或者我提到的一些風格的比較有影響力的paper,或者相關的商業引擎,或者是除mm和sigraph之外的更具有針對性的期刊或者會議?


以前評論過這個題目,今天再次看到,就寫一些吧,aaron及hugh的關於hatch的工作是很令人印象深刻的,不過這也只是NPR里的一個門類(aaron有做更多…)。合理地回答這個答案,應該是把NPR每個門類都羅列下吧,或是至少一種風格的每個過程都秒速下,不過那樣會變成很大的綜述,所以我暫時還是打算隨意些想到哪個寫哪個吧,有機會再整理起來。

我個人自己的項目是基於現有的3D流程和軟體實現日式動畫的風格化渲染,主要就是開發一些插件,目前已經應用於一些實際的項目中,如下圖。最終效果是有人工處理的,但是量不大,植物雖然沒有在3d的模型圖裡展現,但是其實也是CGI的,只有天空的部分是手畫的。

Copyright? Project HAT@高考戀愛一百天

從上圖我們可以大概看到,NPR大概需要解決幾個問題:物體幾何體的抽象(建模)、著色(Shading)的抽象(色彩量化/簡化,色彩風格化,配色)、描邊(輪廓線、褶皺線、素描線Hatching line、其他邊緣如Suggestive contour等)、真實介質的模擬(水彩,油畫,鉛筆)。除了3D渲染,圖像處理也會被分類進來,所以還會涉及圖像處理的很多門類。甚至,這裡面也有研究繪畫風格、繪畫技法的動機認知類的研究。而對於大部分寫實的藝術風格,主要會涉及描邊和著色抽象這兩個問題,針對真實介質的,會附帶真實介質模擬的問題。

對於NPR的應用,最早的可能應該屬於Disney(使用mental ray,這個有待確認)。而日本動畫也在之後開始少量使用NPR製作複雜鏡頭。目前應用上,日本應該屬於最領先的水平。主要的解決方案有,3D軟體自帶的toon/cel shade,插件illustrate、fianltoon以及目前最領先的pencil+ / liquid+等。

  • OLM

作為補充,先從日本說起。目前日本使用NPR最重的兩家公司是三次元及Polygon Pictures。三次元使用的就是Pencil+(代表作:EVA新劇場版,蒼藍,樂園追放,BRS)。P使用的是內部軟體(希德尼婭的騎士,亞人)。這兩個軟體都是面向日式動畫風格的NPR插件。主要的風格是,描邊及3-4層的光影,如下圖所示。過人之處是,Pencil+的特殊的高光(高光圖形、分割)及失真透視,文章可以參看OLM Digital, Inc.https://olm.co.jp/rd/?lang=en發表的工作,該研究機構的大部分工作都是為了某部日本動畫(口袋妖怪,妖表等)的製作,所以實踐性很強。

Copyright?1996-2016 P SOFTHOUSE Co., Ltd.

主要是Ken Anjyo的工作

風格化高光與著色

Stylized Highlights for Cartoon Rendering and Animation

Tweakable Light and Shade for Cartoon Animation

Locally Controllable Stylized Shading

Stylized Lighting for Cartoon Shader

Digital Tricks for Japanese Cel Animation

真實介質模擬

The Brush Shader: A Step towards Hand-Painted Style Background in CG

特殊透視變形(對於日式動畫非常重要,僅有pencil+具有這個功能)

Anime Perspective

OLM還有一些關於彈性動畫的工作(雖然不是渲染),但是對於風格化也很重要。

還有的不足:shading變化的連續性還是很差,需要做很多trick。無法處理背景,不是通用方法。

  • Aaron hertzmann

Aaron Hertzmann重量級人物,他大部分關於NPR的文章都值得讀,雖然目前不怎麼做NPR了。Pixar近年那幾篇NPR的文章都與他合作,並且基於了他以前的工作。

Painterly rendering(圖像處理)

Illustrating smooth surfaces(完成Hatching line的效果, 類似Real-Time Hatching)

Image Analogies(Stylizing Animation By Example的基礎,可以複製濾鏡)

Paint By Relaxation

Artistic Stroke Thickness

Interactive painterly animation

Learning Hatching

Curve analogies

Computing smooth contours(也是與Pixar合作的,算是系列吧)

PortraitSketch(這個比較無聊,一個計算機輔助的肖像繪畫系統)

關於認知和審美的

The Science of Art

Color Compatibility(與Adobe合作的工作,基於樣本的配色和評分,可惜一直沒應用出來)

Color personalization

Clip art style similarity

https://arxiv.org/abs/1311.3715

  • Princeton Univ. Adam Finkelstein等人

在線條和真實介質模擬領域做了很多好工作。

可能過段時間會填坑:

1、描線與描線風格化

2、曲率與高光

3、動畫連貫性

4、計算漫畫/動畫工具

5、Daniel Sykora的

NPR的內容差不多就是這些了,也已經是個不再活躍的領域,依照Aaron的總結,進一步的發展需要認知科學上的進展了。除此之外,如果把圖像風格化處理算作NPR,那麼就可以算是一個集合了圖像處理一大塊內容的大坑了,比如分割,平滑,本徵分解,深度估算…入坑需謹慎。


傳統上的非實感渲染著作好像真是只有久遠的[1]和[2]。近年 non photorealistic rendering 在學術上不太活躍:

這些年來,印象比較深的有 Real-Time Hatching [3]

MoXi [4] 來自香港的圖形學研究者朱紹恆(但這可能不算是渲染):

除了學術界,較多的是業界在動畫/遊戲製作上的文章,例如西川善司的文章 [5][6][7]。[1] Gooch, Bruce, and Amy Gooch. Non-photorealistic rendering. AK Peters, Ltd., 2001.

[2] Strothotte, Thomas, and Stefan Schlechtweg. Non-photorealistic computer graphics: modeling, rendering, and animation. Morgan Kaufmann, 2002.

[3] Praun, Emil, et al. "Real-time hatching." Proceedings of the 28th annual conference on Computer graphics and interactive techniques. ACM, 2001.

[4] Chu, Nelson S-H., and Chiew-Lan Tai. "MoXi: real-time ink dispersion in absorbent paper." ACM Transactions on Graphics (TOG) 24.3 (2005): 504-511.

[5] 西川善司の「試験に出るゲームグラフィックス」(1)「GUILTY GEAR Xrd -SIGN-」で実現された「アニメにしか見えないリアルタイム3Dグラフィックス」の秘密,前編

[6] 西川善司の「試験に出るゲームグラフィックス」(2)「GUILTY GEAR Xrd -SIGN-」で実現された「アニメにしか見えないリアルタイム3Dグラフィックス」の秘密,後編

[7] GDCの舞台で世界に披露された「GUILTY GEAR Xrd -SIGN-」の「アニメにしか見えない3Dグラフィックス」製作手法


之前實驗室組會討論時,我找過類似的資料,可以跟題主分享一下。像Milo Yip說的,非真實感在學術上感覺不太活躍,我個人覺得一方面是因為非真實感渲染非主流趨勢,更多的是一些小眾的需求;另一方面,其實偶爾SIGGRAPH也有非真實感渲染的session,只是不再局限於傳統上的感覺的那種「純正」的非真實渲染,我下面會提到一些這樣的文章。其實非真實感渲染的涵蓋範圍很廣。

==========論文===========

先說論文吧。如果你有看SIGGRAPH 2014的話,應該會發現非真實感渲染有一個專門的session(Non-Photorealistic Rendering)。我主要看過其中的兩篇:

  • Ink-and-Ray: Bas-Relief Meshes for Adding Global Illumination Effects to Hand-Drawn Characters

    這篇我嘗試實現過。它主要是根據一張輸入的手繪圖片,自動+手動輸入生成一張淺浮雕的模型,從而讓圖片具有三維立體感。

  • Computing Smooth Surface Contours with Accurate Topology

    這篇是Pixar寫的,主要目的是精確識別出每一幀中三維模型的封閉輪廓,並對它們進行修正。最後就可以對輪廓進行風格化渲染。

SIGGRAPH 2013(http://kesen.realtimerendering.com/sig2013.html)中雖然沒有叫NPR的session,但也有一個很類似的部分,叫Artistic Rendering Stylization。泛讀過幾篇。

  • Stylizing Animation By Example

    這篇同樣也是Pixar出的。這篇文章的動機主要是為了當前的動畫產業。因為藝術家們通過手繪創建的風格化圖像,在動畫中缺少時間上的連貫性,主要是由於物體複雜的紋理造成的。 他們受到靜態的「圖片類比」方法的啟發,這種方法使用一對圖片(左邊的兩張圖片)來定義風格的轉換,然後再給定一張輸入圖片(第三張圖片),就可以輸出具有新風格的圖片(最右)。

  • RealBrush: Painting with Examples of Physical Media

    這篇是Adobe Google出的。他們的動機是,在現實世界中繪圖的美術人員有非常大的發揮空間,而使用數字板繪圖的藝術家們卻很受畫圖工具材料的限制。 現有的系統往往依靠一些演算法來模擬一些真實世界中的顏料,例如油畫和水彩。但是這些系統很難混合生成新的顏料,比如在真實世界裡畫家可以隨意混合各種顏色的油彩來產生不同的藝術效果。因此,藝術家們就會被這些內置的工具所限制。 作者提出了一種新的繪圖系統,RealBrush,它是一種靠數據驅動的繪圖方法。 他們通過分析真實的繪圖顏料,把這些顏料的行為分為四個種類:形狀,拖尾,塗抹和合成,最後負責合成重疊組合不同顏色的畫筆。 他們的演算法首先收集這三種樣本,處理後生成一個顏料庫。然後如果在繪圖過程中一個畫筆覆蓋了畫布上之前繪製的顏料,就會匹配一個拖尾效果。如果需要進行塗抹,就會從塗抹庫中合成一個塗抹效果。

近兩年SIGGRAPH上的非真實感渲染大概就是這些。當然,我相信其他會議期刊上肯定也陸陸續續都有,只是我們總是只關注SIGGRAPH上的。。。

==========NPAR===========

2015.7.26日更新:

SIGGRAPH發起了一個專門針對NPR的symposium——NPAR(Event: NPAR),很多之前很有名的論文都是在上面發表的。例如:

  • 2000年的Stylized Rendering Techniques For Scalable Real-Time 3D Animation

    如果看過《Real-time Rendering》中的NPR一章的話應該還記得這張圖片吧。
  • 2000年的Artistic Silhouettes: A Hybrid Approach

    眼熟吧。。。
  • 2004年的Cartoon Rendering of Smoke Animations

  • 2014年的Stylized Keyframe Animation of Fluid Simulations

太多啦,常去翻翻會發現不少有意思的論文。

==========實驗室===========

題主可以關注幾個實驗室,Pixar的動畫工作室(Pixar),Disney的工作室(Disney Research,這個是捷克分部的),蘇黎世聯邦理工學院(ETH Zurich)的igl實驗室(igl | Interactive Geometry Lab),捷克的DCGI學院(DCGI Home),這是我所知道的在非真實感渲染方向比較活躍的機構。

==========書籍===========

說完了論文,這裡再推薦一本書吧,也是我無意中找到的——The Algorithms and Principles of Non-photorealistic Graphics。

是浙江大學的Weidong Geng教授寫的。這本書的結構有點類似於《Real-time Rendering》這種的,它會給一個方面,然後給出這個方面有哪些研究工作給出論文的名字,實現部分沒有寫的很具體,但可以知道去哪裡查論文。=========

大概想到的就這些了。


有興趣可以來我這裡實習。我有這方面的項目,可以邊做邊學邊討論。


非真實感繪製,從字意上理解包含真實感繪製外的所有繪製方式。不僅有1)基於三維模型的表意式繪製,還包括2)對圖片視頻的藝術化處理,和3)visualization研究領域也有重疊。內容相當多。當然這是說的是科研領域,工業界所指的NPR可能很多只是第一種。


有一個類似矢量場繪製文字的思路,是用來渲染矢量而不是讓3D像手繪的。但是我覺得這個概念更時候模擬手繪。因為其對線條的表達最直接。

ravg:

https://github.com/openframeworks/openFrameworks/issues/1190

http://hhoppe.com/ravg.pdf


用 3D 渲染來創作漫畫,可行性高嗎? - 匿名用戶的回答


推薦閱讀:

軟體渲染器實現Phong Shading的性能優化?
在基於高度圖的遊戲大世界中該怎麼做動態物體的遮擋剔除比較好呢?
OpenGL適合用來加速圖像處理嗎?
請問光柵化與渲染這兩個術語的區別和聯繫是什麼?
如何評價蘋果在 WWDC 2017 更新的圖形 API Metal 2?

TAG:計算機圖形學 | 3D渲染 |