丘成桐的團隊的3D技術具體是什麼?如何理解微分幾何在其中的應用?
三個子問題:
1. 鏈接一: 公司簡介-滇中恆達,丘成桐,3d列印教育,三維掃描,3D列印集成系統
「公司具有世界一流水準的研發團隊,致力於應用微分幾何研究技術,進行高速和高解析度三維成像和三維面形的研究分析,專註於三維幾何的計算處理,包括曲面匹配、三維人臉識別、動態曲面跟蹤、形狀分析、表情模擬等計算方法。」
-------這個「高速和高解析度三維成像」和「表情模擬」是如何做到的?和微分幾何具體有什麼關係?2. 鏈接二:丘成桐清華演講解析三維技術中的數學奧秘
「報告最後,丘成桐團隊學生以自己和服務員為「模特」,現場演示了作為三維列印基礎的面部表情捕捉和全身掃描應用,成像即時精緻,引起了現場師生的一片讚歎。」
------這個演示他曾做過多次了(【魯豫有約】,【開講啦】,基本上就是數字化複製一個能做各種表情的人臉)這讓我想起了曾經很火的 「 小偶 " ,這兩者的技術有什麼聯繫和區別?3. 鏈接三:爆料:數學家丘成桐3D列印公司GIT獲得信中利7500萬投資
「GIT的三維動態掃描儀採用的是正弦結構光和高速圖像同步捕獲技術。在保持了圖像的高解析度的同時,能夠獲取動態的影像,使其適合於需要較高解析度,同時又要求動態實時三維成像的應用,可應用範圍包括但不限於人臉三維圖像掃描。GIT的技術優勢包括結構光三維圖像掃描高解析度,高精度優勢,又具有其它結構光三維掃描儀所不具備的動態實時圖像掃描的功能。」
-----這個設備看起來很特殊,未來有可能直接用手機的攝像頭達到同樣的效果么?P.S. 我的學術背景是物理MSc在讀,已經修過了廣義相對論和李代數的課程,目前在做Mathematical Physics裡面Superintegrable System方向的課題。
希望GIT團隊的專家能出來為我和大家科普一下
先謝謝啦
為了避免重複,我把GIT官網的介紹複製過來:
純粹數學走出象牙塔:丘成桐和三維科技有何關係...
編者按:近日,國際著名微分幾何大師丘成桐院士創立的 Geometric Informatics Tecchnology (GIT)公司成功獲得了中國知名投資機構信中利7500萬元人民幣融資,完美地詮釋了「知識就是力量」這句古老的格言。《賽先生》特邀丘院士的學生、GIT的共同創立者和研發主管顧險峰教授撰文,剖析純粹數學對高科技產業的促進和顛覆作用。
顧險峰/文
純粹數學給人的印象一直是艱澀深奧、遠離塵囂。學術上徐緩拖沓的進展令關鍵猜想的突破動輒耗費數百年。現代數學更是高度抽象、孤芳自賞,令人不知所云,因而不為外界關心。與之相反,科技領域的發展狂飆奔襲,一日千里,使日常生活和社會結構都發生了天翻地覆的變化。純粹數學,特別是現代數學,如果對科技領域存在影響,似乎也是潤物細無聲的滲透,而非直截了當的應用,但卻有可能是觸及靈魂的顛覆。在這裡,筆者針對過去二十年間三項重大的科技突破(GPU、數控機床、三維掃描),談下現代幾何對於它們的直接應用,甚至某些顛覆性的觀點。
GPU和阿蒂亞-辛格指標定理
公元兩千年左右,圖形處理器GPU(Graphics Processing Unit )的出現和推廣標誌著計算機硬體的革命。與CPU類似,GPU是專為執行複雜的數學和幾何計算而設計的,這些計算是圖形渲染所必需的。目前GPU的數值計算能力遠遠超過CPU,從而極大地推動了高性能計算、電子遊戲,動漫動畫和深度學習等領域的發展。在GPU發明之前,實時動畫渲染只能依賴於專用的工作站,如SGI等等,其昂貴的價格嚴重抑制了遊戲工業的發展。GPU的發明使得硬體成本戲劇性的下跌,實時遊戲變得唾手可得,遊戲工業蓬勃發展。
圖1:紋理貼圖技術的解釋
GPU的興起使得三維遊戲中的一項技術紋理貼圖變得至關重要。如圖1所示,在遊戲工業中,光滑曲面的形狀被表示成三維的多面體網格(a),曲面的顏色紋理被表示成二維的圖像(c)(d)。紋理貼圖技術就是將二維圖像嚴絲合縫地貼到三維曲面上(e)(f);或者等價地,將三維曲面展平到二維平面上,同時採用盡量減少畸變的展開方式(b)。在工業界,通常採用黎曼映照或調和映照,因為這種映射保持局部形狀,畸變較小。紋理貼圖的效果顯現在(e)和(f)中,不同的紋理圖像得到不同的渲染效果。構建一個精細的三維形狀(a)的代價高昂,改變紋理圖像(c)(d)相對廉價,因而遊戲的更新換代一般只替換紋理圖像。
在GPU發明之前,紋理貼圖只能由軟體實現,GPU出現之後,紋理貼圖可以由硬體支持,當時曲面參數化的演算法只能處理簡單拓撲曲面——拓撲圓盤,例如人臉曲面。對於拓撲複雜的曲面,比如拓撲球面、輪胎曲面,傳統方法無能為力,只能將曲面分解成拓撲圓盤,分別處理每一片然後粘合。這種方法破壞了曲面的整體性,粘合支離破碎的曲面片降低了紋理貼圖的全局光滑性。設計發展強有力的整體曲面參數化方法,使得紋理貼圖適用於所有的曲面成為突破當時動漫遊戲界瓶頸的出路。
圖2:基於局部參數化的紋理貼圖效果
2002年暑期,還在哈佛大學讀博士的我在聖安東尼奧參加了計算機圖形學年會SIGGRAPH,從會議上得知法國計算機科學家利用保角變換實現了曲面局部參數化方法,但是全局方法當時無人知曉。陳省身先生最為著名的成就之一就是將局部微分幾何推廣成為全局微分幾何。作為陳省身學派的弟子,我敏銳地意識到:應該存在全局方法。
回到哈佛後,我連夜編程,實現了基於黎曼映照的局部參數化方法。第二天清晨,當我將國際象棋的棋盤格紋理圖像貼在三維人臉曲面上(見圖2),展示給丘成桐院士看時,丘院士異常激動,連聲叫到:「這真的是黎曼映照,真的是黎曼映照!」我連忙問:「如何將這種方法推廣到拓撲複雜曲面?如何實現全局方法?」丘院士思索片刻,斬釘截鐵地說:「要用Hodge指標定理!」丘先生立刻在辦公室的黑板上寫下了黎曼流形上的熱流方程:「調和微分可以看成是流形上光滑得不得了的切矢量場,光滑得無法再光滑就是調和。可以在保持上同調類不變的情況下,由熱流得到。」我們熱烈地討論了幾個小時,丘先生深入淺出,舉重若輕,將數學理論透徹講解;我則心潮澎湃,血脈僨張,摩拳擦掌,躍躍欲試。方向指明之後,我立刻全身心地投入到了全局參數化的研究之中,廢寢忘食,通宵達旦。
丘先生講解的是純粹數學理論,需要用到曲面的微分結構和黎曼度量張量。但是在計算機的數據結構中,曲面不再光滑可導,傳統的度量張量也無法定義;在那個年代,也沒有曲面同倫群和上同調群的拓撲演算法;數值求解偏微分方程的有限元方法只限於平直空間的區域,彎曲的流形上的偏微分方程數值解法沒有成熟的理論或演算法。但我在丘大師的點播下,概念明晰、直覺深刻、熱情高漲、勇往直前。在長達數月的探索中,我幾經波折,愈挫愈奮,多少次山窮水盡疑無路,柳暗花明又一村!終於,在波士頓金色的秋陽下,我的屏幕上出現了人類歷史上從未出現的畫面(圖3),高虧格黎曼面上的全純微分!近兩百年來,黎曼面上的全純微分這一概念只存在於純粹數學家的腦海里,他們用自己深刻的思想去感受欣賞,用心靈去撫摸摩挲。雖然全純微分客觀存在,但是大自然中沒有她們的倩影,雖然她們美妙不可方物,但卻虛無縹緲,不可捉摸。剎那間,她們被我們永久地捕獲了,不再神秘虛幻,樸實誠摯地為人類實踐服務著。那時我覺得自己成為了世界上最幸福的人,因為我是人類歷史上第一個用肉眼看到全純微分的人!
以全純微分為基礎,丘成桐院士和我將全局參數化這一瓶頸徹底打破。丘先生提議將這一演算法命名為顧-丘演算法。這一演算法能夠將複雜拓撲曲面整體參數化,使曲面保持完整,不會被肢解,圖4展示了一些基於顧-丘演算法的紋理貼圖效果。彼時,德國、法國、美國和以色列的科學家都在競相追隨這一全局參數化方法,我們一時引領了潮流。
圖3:曲面上的全純微分群的基底
圖4:應用顧-丘演算法得到的紋理貼圖效果
理論上,顧-丘演算法是根植於著名的阿蒂亞-辛格指標定理。該定理是上世紀60年代發展起來的連接分析和拓撲的橋樑,其內在含義是說,流形上橢圓偏微分運算元的解被流形的拓撲所決定:於緊的可定向的流形上的線性橢圓微分運算元,其解析指標等於拓撲指標。傳統的黎曼-羅赫定理(Riemann-Roch Theorem)、希茲布魯赫符號差定理(Hirzebruch"s Signature Theorem)、高斯-博內-陳定理(Gauss-Bonnet-Chern Theorem)、Hodge分解定理(Hodge Decomposition Theorem)都是它的特殊情況。我們考察帶度量的可定向曲面,則曲面必為黎曼面。黎曼面上的全純微分(holomorphic differential)成群,黎曼-羅赫定理斷言此群的復維數等於曲面的虧格。同時,全純微分群和曲面上所有調和微分的群同構,每一個de Rham上同調類中,存在唯一的調和微分。由此,我們可以用組合演算法求出曲面同調群,然後解幾何偏微分方程解出調和微分、全純微分(圖3),全局參數化可由全純微分導出。
數控機床和拓撲障礙理論(陳類)
數控機床技術在過去幾十年間迅猛發展,對於高強度的機械部件加工,例如發動機,數控機床依然是無法被3D印表機所取代的。機械加工領域不同於遊戲工業,曲面都是由所謂樣條曲面(Splines)來表示的。樣條曲面的位置是參數的分片多項式函數,光滑地自動拼接在一起,形狀由控制網格(control net)所控制。這種表示對於曲面的光滑性(可導性)要求較高。因為在加工過程中,切削銑車的速度,力度(加速度)需要計算出來並且精確監控,因此樣條曲面應該至少處處二階可導,曲率連續。汽車、飛機、船舶、機械的絕大多數設計都是基於樣條曲面的,在具有複雜拓撲的曲面上構造處處二階光滑的樣條曲面,一直是具有根本重要性的中心問題。
在過去的數十年間,機械製造工業、汽車、航空工業都取得了巨大的成功,但是這個中心問題一直懸而未決,定義在曲面上的樣條總存在光滑性變差的奇異點。學者們和工程師們為了構造流形上的光滑樣條函數費盡心血,但是結果一直差強人意。傳統樣條是用於逼近一維曲線,通過張量積可以為二維曲面建模。後來,學者們在平面區域的三角剖分上建立了樣條曲面。這些樣條曲面都是基於代數中的極形式(polar form),具有參數仿射不變性:如果我們保持控制網格不變,將參數進行仿射變換,在新的參數下用舊的控制網格構造樣條曲面,則新的樣條曲面和舊的樣條曲面相重合。那麼,能否將樣條曲面的構造由平面三角剖分擴展到曲面的三角剖分?似乎距離目標只有一步之遙。
丘院士團隊從理論上揭示了這一步之遙實質上是天塹。傳統樣條的參數仿射不變性等價於樣條曲面的構造是基於仿射不變數的,傳統樣條的極形式實際上是隸屬於仿射幾何的範疇。如果流形允許一個仿射結構,(一族圖冊,使得局部坐標變換都是仿射變換)那麼流形上就可以定義仿射幾何,經典的樣條構造可以直接推廣到這種流形上。所以,問題歸結為一般曲面上仿射結構的存在性。如果流形上存在仿射結構,我們可以考慮曲面的切叢,其上存在一個聯絡,其誘導曲率處處為零,即陳省身示性類為零,曲面若封閉則虧格必為1。換言之,封閉的虧格非1的曲面上不存在仿射結構,因而傳統樣條理論無法直接推廣到曲面上。
給定底流形,給定纖維,底流形上的矢量叢可以被構造出來。所有的矢量叢可以依據同倫關係進行分類。陳省身示性類理論將矢量叢的同倫類和底流形上最高階的上同調類建立對應關係,即所謂陳類。陳類非零,則矢量叢非平庸,不存在處處非零的全局截面。在我們目前情形下,陳類非零,則仿射結構不存在。陳類揭示了仿射結構全局存在性的拓撲障礙。這意味著,傳統的樣條構造方式,樣條理論,本身具有不可彌補的缺陷。無論後人多麼努力,傳統樣條到流形上的自然推廣都將是徒勞的。
筆者曾經當面問過經典樣條理論的奠基者們,為什麼當初忽視了理論根基的穩固,而匆忙建立了龐大的汽車工業。他們的基本觀點是當初機械工業發展水平不夠發達,所能加工的形狀非常簡單,樣條曲面上奇異點的問題並不突出;同時,他們的專業背景多屬計算數學,那個年代拓撲障礙理論並未發展成熟,絕大多數人根本沒有意識到數十年後可能出現的技術危機。目前,機械製造工業早已成型,絕無可能因為理論的缺陷而將一切生產線推倒重來。未來的發展,必然限於局部的修補。以自然的方式從根本上消除樣條曲面上的奇異點只能是一種奢望。目前,人們研究的重點轉向如何有效地控制奇異點的個數和位置,如圖5中的黃色點就是曲率無法定義的奇異點。奇異點可以用Ricci曲率流的方法加以有效控制。
三維掃描和超弦理論
三維掃描技術在過去十年間如火如荼,高速度、高精度地獲取三維人臉數據目前是輕而易舉的,由此衍生了大量的三維數據處理問題。例如,如何讓計算機能夠自動識別三維人臉上的表情就是一個饒有興味的問題。如圖6所示,假設我們採集了多人多表情的三維人臉數據,如果我們能夠找到一種方法來度量任意兩張三維臉之間的距離,我們姑且稱之為兩張臉之間的幾何距離,那麼我們就可以將這些人臉依據彼此間的幾何距離來聚類。如圖7所示,每個點代表一張帶有表情的臉,這些點之間的平面歐式距離大致等於相應的幾何距離,我們自然得到三個點簇,三個聚類對應三種表情。在這種依據幾何距離進行聚類的模式識別演算法中,最為重要的是三維人臉間幾何距離的制定和
圖6:九個人帶有三種表情:悲傷、高興和驚訝
圖7:聚類結果
曲面間幾何距離的定義方式有很多種,這裡我們採納比較自然的一種。首先,我們將三維人臉曲面通過黎曼映照映射到平面圓盤上,黎曼映照保持角度,但是面積元會發生畸變,畸變係數被稱為是共形因子。原來曲面上的黎曼度量信息完全被保持在共形因子里。由此,每張臉在平面圓盤上對應了一個共形因子函數。我們將共形因子函數視為概率密度函數,每張臉對應圓盤上的一個概率分布。圓盤上的所有概率分布構成一個無窮維的流形——Wasserstein空間,Wasserstein 空間中存在一個黎曼度量——Wasserstein距離。任意兩張人臉之間的距離可以由Wasserstein距離來定義。Wasserstein距離的計算等價於解一個非常著名的非線性方程:實的蒙日-安培方程。
大概在1997年春季,我曾到麻省理工學院人工智慧實驗室學習Horn教授的《機器視覺》課程。Horn教授是計算機視覺創始人David Marr的弟子,以「Shape from Shading」聞名於世。Horn教授提出了一個新穎的曲面表示方法:擴展高斯圖(Extended Gauss Map),就是將曲面每點的高斯曲率記錄在此點的法向量處。從擴展高斯圖反解初始曲面恰恰等價於解蒙日-安培方程。我向丘先生求教,丘先生把自己早年關於蒙日-安培方程的論文交給我,並告訴我說,這個問題是古老的閔科夫斯基問題,俄羅斯學派有離散的理論。經過頭懸樑、錐刺股的數月苦讀,我發現閔科夫斯基用構造法解決了封閉曲面的重建問題,他的學生亞歷山大夫解決了開放曲面的重建問題,但是亞歷山大夫的證明是基於代數拓撲方法,換言之,是一種抽象的存在性證明。從亞歷山大夫的證明中,我們無法找到構造性演算法。而丘先生的方法更高屋建瓴,氣勢恢弘。
丘先生的方法是用來證明卡拉比猜想的:存在這樣一個宇宙,那裡質量為零,但是引力非零。這種宇宙被稱為是卡拉比-丘流形。卡拉比-丘流形違反人類直覺,令人匪夷所思,但卻是超弦理論的基石。依據超弦理論的基本觀點,宇宙是十維的,每一點除去四維時空還有一個六維的纖維空間,這一纖維具有獨特的物理特性:質量為零,引力非零,恰恰就是卡拉比-丘空間。超弦理論將廣義相對論和量子力學統一起來,卡拉比-丘空間的拓撲決定了宇宙常數和基本物理定律。卡拉比-丘空間存在性的證明依賴於求解復的蒙日-安培方程。當時雖丘大師親授武林秘笈給我,但可嘆那時我內力不夠,無法參悟玄妙奧義,功虧一簣。十數年後,丘先生和我再度聯手,與羅峰教授和孫劍教授共同解決了亞歷山大夫定理的構造性證明,同時給出求解離散蒙日-安培方程的變分方法,發展了離散最優傳輸理論。我們借用經典計算幾何中的加權Delaunay三角剖分和凸優化的方法來求解蒙日-安培方程,圖8顯示了從複雜幾何曲面到平面圓盤的保面元映射,這一映射是基於離散最優傳輸理論。這種方法可以用來計算Wasserstein距離,實現曲面聚類。
圖8:基於求解蒙日-安培方程的曲面保面元映射
總結
在過去十數年間,我們經歷了許多技術方面的革命:GPU對CPU的顛覆,數控機床和3D列印對傳統製造業的顛覆,三維掃描對二維攝影的顛覆。每一輪技術革新都會引發一系列深刻的技術挑戰:曲面全局參數化,流形樣條的構造,幾何大數據的聚類等等。應對這些挑戰,往往傳統智慧無法勝任;真正的突破,大多來自深刻的基礎科學,特別是貌似無用的純粹數學。粗暴地將基礎科學視為智力遊戲實際上是一種反智的愚昧。存粹數學的發展異常艱辛,需要多年的點滴積累;如何尋找技術突破點,如何應用現存的理論解決關鍵問題,更是需要常年的實踐經驗,和高瞻遠矚的膽識和智慧!我們相信,依隨計算機技術的加速發展,愈來愈多的抽象理論會被理解吸納,轉化為實用演算法,從而進一步推動基礎理論的研究和實際生產力的發展。
利益相關,第一個鏈接的網站負責人。我不是數學專業的,回答僅供參考。
我們這有這台掃描儀,對應網站產品目錄中的GV3,按我理解是用共形幾何把人臉映射成平面來處理,可以達到120幀的3d掃描處理速度。實際掃描結果邊緣部分還是有畸變,一些遮住的地方也掃描不到,比如鼻翼後面。用的是兩個白光鏡頭,光照很強,掃描原理應該和其他白光靜態掃描儀類似。牛逼的應該就是後面立體映射到平面處理的技術。
這台機器蠻貴的,配置要求也高,手機要達到同樣效果可能要晶元夠強,外接3d掃描的鏡頭。
匿名說吧。
這件事主要的執行人就是前一個答案中的顧險峰,他是搞計算機微分幾何的專家。所以賽先生這個邀請有點令人尋味。從2012年開始,顧險峰(Xianfeng David Gu)老師每年暑假都會在丘成桐數學科學中心開課,課程列表如下:Yau Mathematical Sciences Center, Tsinghua University
從2013年開始,這門課的名字就定為Computational Conformal Geometry了,這是2016年的課程頁面:Computational Conformal Geometry-Yau Mathematical Sciences Center, Tsinghua University
2016年暑假的課程我去聽過前幾節,感覺顧老師講課還是挺好的。非數學專業,當時剛結束大三的課程,聽著還是有點吃力的【也可能是我當時比較弱】。
後來因為忙其它的事情沒有去聽後面的幾節課,2017年的課程安排還沒有出來,應該還有吧?
主要參考資料應該他和丘老寫的書:
X. Gu and S.-T. Yau, 「Computational Conformal Geometry」, Internation Press and High Education Press China
之前顧老師在科學網的博客挺活躍的:科學網-CurvatureFlow的博客 - 顧險峰
現在那個博客不經常更新了,主要陣地轉移到微信公眾號上去了:老顧談幾何,ConformalGeometry。
我暑假聽前幾課,感覺和那個微信公眾號的前幾篇文章重合度蠻高的,「賽先生」偶爾也轉發「老顧談幾何」上面的文章。
如果是要求科普的話,那個公眾號和那本書應該就行。
剛巧昨天看到一篇微信公眾號文章,作者顧險峰
附上鏈接
http://mp.weixin.qq.com/s/MRoAJj-_5RoDCxeaJHTP1g
菲爾茲獎得主芒福德為三維人臉識別和配准獻上神助攻
2016-12-29 顧險峰 老顧談幾何三維人臉曲面研究一直是計算機視覺的基本問題之一。
通常情況下,對於人類經過生物進化而習得的先天能力,機器學習可以勝任或者超過人類;對於人類經過科學積累而建立的抽象理論體系,機器學習目前依然無法和人類匹敵。三維人臉識別和三維人臉曲面配准這兩個計算機視覺領域的經典問題,就給出了這樣的例子。
人臉識別問題是給定一張人臉曲面,判定此人的身份;三維人臉曲面配准問題是給定兩張人臉曲面,在人臉間找出點點對應關係,也就是求出它們之間的一個光滑雙射(微分同胚)。三維人臉曲面配準的技術更為精細,它要求給出逐點對應,特徵點對齊,全局某種形狀畸變最小,因而既考慮局部信息,又牽扯整體幾何。相對於基於圖像視頻的人臉識別,三維人臉識別對於光照條件的變化、不同表情的變換、化妝方式的變化、頭部姿態的變化更加魯棒,識別性能有所提升。三維人臉識別可以用監督學習達到比人類更為精準的地步。但是,對於三維人臉曲面配准問題,目前機器學習的方法無法直接奏效。首先,人類對於兩張人臉曲面間的特徵點和它們之間的對應關係,具有良好的直覺,可以毫不費力地標註出來;但是對於曲面間的映射,或者稠密點之間的對應關係,並沒有明確的直覺,手工標註非常困難。因此,數據準備工作幾乎無法實現。相反地,微分幾何方法為曲面間的配准問題提供了強有力的模型,特別是菲爾茲獎得主、代數幾何泰斗、計算機視覺大師芒福德(David Mumford)早期的研究領域——模空間——非常適用於這一問題的研究。
芒福德當年在哈佛上本科的時候,在扎里斯基(Zaraski)的代數幾何課上,產生了奇思妙想,最終催生了他得菲爾茲獎的工作。但這個想法不太容易解釋,即便是初淺地描述也非常抽象。給定一張人臉曲面,我們通常只考慮皮膚構成的部分,去除眼睛和嘴的內部,同時將解剖意義下的特徵點(例如眼角、嘴角、鼻尖)標註出來。因此人臉曲面實際上是帶邊界和特徵點的拓撲複雜的曲面。給定兩張這樣的曲面,給定邊界之間和特徵點之間的對應關係,則我們所求的映射應該滿足這些預定的對應關係。數學上,這意味著我們固定了曲面間映射的同倫類。固定一張拓撲曲面,考慮曲面上所有的黎曼度量。兩個度量,被稱為是共形等價的,如果存在一個保角的微分同胚數學上這意味著存在一個標量函數,使得微分同胚誘導的拉回度量和初始度量之間滿足等式。圖1給出了人臉曲面到平面圓盤之間的一個保角變換,保角變換亦被稱為是共形變換。兩個度量彼此等價,被記為,度量的共形等價類被記為。那麼,曲面上所有黎曼度量的共形等價類構成的空間被稱為是曲面的模空間(Moduli Space)。
圖1. 曲面間的保角映射:三維曲面上任意畫兩條相交曲線,映到平面上後,平面曲線的交角等於原來三維曲面上曲線的交角。
圖2. 人臉表情變換不是保角變換。
一般情況下,人臉表情變化會帶來黎曼度量的變化,這種變化不是保角變換。圖2給出了一個實例。我們將帶邊界的人臉曲面保角地映到平面的多孔環帶上,多孔環帶的內圓半徑和圓心的構型是曲面的共形不變數。兩張曲面的共形不變數不同,因此不存在共形變換。因此,這兩張臉在模空間中代表不同的點。模空間的定義具有兩級抽象,首先將黎曼度量分成共形等價類,這是一級抽象;然後,所有的共形等價類構成了模空間,這是第二級抽象。直觀而言,模空間涵蓋了所有可能的形狀,其本身是帶有奇異點的黎曼流形,存在黎曼度量,模空間中任意兩點之間可以定義距離,也可以定義測地線。換言之,任意兩張帶度量的人臉曲面可以被視作是模空間中的兩個點,可以用模空間的度量測量它們的相似程度;也可以計算它們之間在模空間內的測地線,就是它們之間某種微分同胚,使得角度畸變最小。
圖3. 帶有特徵點的兩張人臉
圖4. 帶有特徵點的兩張人臉之間,角度畸變最小的微分同胚,也可被視作是模空間中的測地線
圖3、圖4解釋了這一觀點。圖3中,給定了兩張人臉曲面,上面標註了特徵點。兩張曲面之間不存在保持特徵點間對應關係的保角變換,但是存在唯一的一個微分同胚,將角度畸變降到最小,如圖4所示,即所謂的泰西米勒映射(Teichmuller Map)。這一映射將源曲面上的無窮小圓映到目標曲面上的無窮小橢圓,所有的橢圓具有相同的偏心率。整張曲面上,最大的偏心率可以作為角度畸變的一種量度。在所有可能的微分同胚中,泰西米勒映射使得這種角度畸變達到最小。由此,泰西米勒映射給出了模空間中的測地距離和測地線。
圖5. Beltrami微分的幾何解釋:無窮小橢圓的偏心率和主軸方向
一般的微分同胚,將無窮小圓映到無窮小橢圓,局部上每一點處的橢圓偏心率和主軸方向定義了一個複數值的函數,即所謂的Beltrami係數;在流形上,在各個局部坐標系下定義的Beltrami係數給出了整體的Beltrami微分,記為。粗略而言,微分同胚和Beltrami微分彼此一一對應,我們考察微分同胚等價於考察Beltrami微分。在模空間的任意一點(代表一族共形等價的曲面),每一個Beltrami微分都給出了曲面的形變,因此,曲面上所有可能的Beltrami微分定義了模空間在該點處的切空間。
曲面的一個葉狀結構(foliation)就是將曲面分解成一族曲線,每一條曲線被稱為是一片葉子(leaf)。葉子沒有自相交,彼此也不相交。曲面上的任意一個葉狀結構都可以用一個所謂的全純二次微分(holomorpic quadratic differential)來描述。曲面上的所有全純二次微分構成一個線性空間,如圖6所示。
圖6. 曲面上的葉狀結構。前兩個葉狀結構之和等於第3個葉狀結構。
給定模空間中的一個點和一個Beltrami微分,那麼對於一切,決定了一個微分同胚,將點映射到模空間中的另外一點。由此,我們得到了模空間中的一條曲線,。這條曲線在0點處的切向量,亦即曲面的形變「趨勢」,由Belrami微分對曲面上全純二次微分的作用所決定。這種說法比較抽象,我們下面給出一個實例來詳細解釋這種說法的直白意義。
假定我們給定一張人臉曲面,臉上我們用機器學習方法求得了特徵點,如圖3所示。我們在每個特徵點處戳一個小洞,得到了帶有空洞的曲面。帶空洞的曲面上有全純二次微分,,它們構成了所有全純二次微分空間的一個基底。更進一步,對每一個特徵點我們可以選取一個相應的全純二次微分。給定一個Beltrami微分,對應的微分同胚是, 那麼經過重整化後(normalization),特徵點位置的變化率為:。
對此,老顧師兄劉克峰給出了精闢的概括:全純二次微分空間是模空間的餘切空間。一針見血,一語中的。
通過以上討論可見,模空間理論給出了三維人臉曲面配准問題的理論模型,或者更為寬泛的求解一般大形變曲面間的微分同胚問題的理論模型。其形狀空間,這一空間的黎曼度量,映射空間的切空間、餘切空間、測地距離、測地線,等黎曼幾何概念明晰,最優映射的存在性和唯一性具有理論保證。迄今為止,我們只應用到了模空間的黎曼幾何性質。其實,芒福德的最令人驚異的貢獻在於:他看出了模空間實際上是一個代數流形,模空間可以表示成多項式方程組的零點集合。模空間的代數性質會為曲面配准問題帶來哪些更為深刻的指導作用,這是一個饒有興味的未知問題。
根據老顧的師兄、數屆國際計算機視覺和模式識別大會(CVPR)主席、加州大學洛杉磯分校統計學和計算機科學系的朱松純教授提出的計算機視覺科研範式:模型、演算法和實現,我們用模空間的黎曼幾何層面給出了曲面配准問題的理論模型。從演算法角度而言,將抽象的純粹數學理論轉換成離散的演算法,這本身就非常具有挑戰性。經過多年的努力,老顧與其眾多合作者們,特別雷諾銘教授、Mayank Goswami教授在丘成桐先生的指導下系統地發展了計算擬共形幾何方法,提出了擬共形映射,泰西米勒映射的演算法[1][2][3]; 近期和雷娜教授發展了全純二次微分和曲面葉狀結構的演算法,鄭曉朋博士起到了關鍵的作用[4]。在醫學方面,三維人臉配准對於牙齒整形、顱面整形、美容手術、皮膚黑色素瘤預防診治等領域都會有所幫助;在動漫動畫領域,三維人臉配准對於表情捕捉、特效製作等極具潛力。
雖然三維人臉配准問題的近期解決方案依賴於微分幾何方法,但是從長遠來看,機器學習的方法不可或缺。模空間理論給出了所有可能出現的曲面形狀,和所有可能的微分同胚。但是所有真實的人臉,和真正能夠物理上實現的表情變化應該只是其中的極小部分,有可能是一個子流形。我們需要一個定義在模空間上的概率密度來刻畫物理可實現的人臉曲面和人類表情,更為精細地,我們需要得到正常人臉表情和反常表情(例如自閉症患者的表情)的概率描述。這些概率密度的獲取一方面依賴於物理建模和力學模擬,但是更為切實可行的方法是應用機器學習來獲取。
綜上所述,我們看到對於三維人臉曲面識別、配准、表情分析而言,微分幾何方法和機器學習方法,各有千秋,相輔相成!
後記
2016年是深度學習方法迅猛發展的一年,更是資本全面介入這個學術領域的一年。機器學習方法正在顛覆傳統計算機視覺領域的科研範式,取而代之的是一種基於海量數據,統計演算法和計算資源的暴力範式。在這種暴風驟雨般的革命狂潮下,許多經典計算機視覺問題都已經接近解決,至少是突飛猛進,漸漸逼近了商業實用的成熟程度。學術成果的迭代周期從數年縮短至數周,傳統的學術會議和學術期刊的審稿周期遠遠長於迭代周期,因此絕大多數論文都提交到無審稿的公開archive。因為學術界的計算資源和數據資源匱乏,許多新穎的神經網路模型的驗證工作直接交給工業界的巨無霸公司,例如FaceBook,來直接驗證。學術空氣中充滿了躁動亢奮的荷爾蒙氣息,數十年的學術經驗的積累讓位於初出茅廬的駭客精神,理論修養的積澱難敵參數調節的技巧。機器學習的狂潮幾乎席捲了幾乎所有年輕學子的心靈,很少有人會願意花費數年學習微分幾何的理論,而是熱衷於短期就可以掌握機器學習的技能,從而早日投身到工業界的人工智慧革命之中。
與全民狂熱的氛圍相反,老顧身邊的同事和朋友們表達了各自的隱憂。老顧的同事Dimistris Samaras教授說道:「現在的孩子們上來就學機器學習,遇到任何問題就套用機器學習的範式:準備數據、訓練網路、調整參數。他們學會了機器學習,同時頭腦被僵化,用機器的蠻力代替了智力的分析。」老顧的另一位同事,醫學圖像領域的大師Allen Tanenbaum教授說:「在醫學領域,精準醫療的宗旨是同樣的病症,針對不同的病人的遺傳密碼和後天發展情況,要用不同的藥物治療。基於大數據統計的機器學習方法無法反映不同病人的特質,無法揭示藥物療效的因果律,因此機器學習方法近期內在醫療領域難以被廣泛接受並應用。」醫學圖像領域的知名學者王雅琳教授這學期教授計算共形幾何,他向老顧抱怨道:「做機器學習的學生壓根就不想花功夫學習幾何,下功夫的也很難短時間學會。這實在是一個困境,這麼難學的東西,學會之後也很難進一步發展新的成果,所以我的碩士生全都要跟我學機器學習。」
老顧的師兄朱松純教授在前不久發布的檄文《正本清源:初探計算機視覺的三個源頭,兼談人工智慧》中重新強調了傳統計算機視覺的研究範式:模型、演算法和實現。朱教授是計算機視覺大師芒福德的高足,在計算機視覺領域,更是繼承了芒福德的衣缽。當年,老顧初到哈佛的歲月,同在芒福德的門下,朱師兄給予了無微不至的關懷和照顧,在計算機視覺的學術方面,更是老顧的啟蒙人。朱師兄對於視覺有著狂熱的熱愛,和成熟的哲學體系,並且投射成卓有成效的計算體系。
芒福德是代數幾何泰斗,菲爾茲獎得主,他在代數幾何領域建立的豐功偉績令人嘆為觀止。芒福德思想的深刻和廣博,人格的正直和高尚,令老顧由衷地覺得他是一位真正的英國貴族。芒福德高大健碩,面目俊朗,舉止優雅,紳士體貼,無一不體現蘇格蘭貴族的風範。特別是他對功名利祿的藐視,對幾何真理和計算機視覺真理的追求,令周圍的同事和學生都無比欽佩。芒福德在哈佛大學數十年,每年都將全部數十萬的工資全部捐回數學系,分文不取。芒福德非常欣賞一位年輕教授在計算機視覺方面的研究,認為其學術水平到達哈佛終身教授的水平。但是在那個年代,哈佛大學從不會提拔年輕教授成為終身教授。芒福德為此壓上身家性命,公開宣稱如若哈佛拒絕授予終身教授的職位給那位年輕人,他就當即辭職離開哈佛。最終,刻板保守的哈佛依然拒絕了那位年輕人,芒福德毅然決然地離開了哈佛,加入到布朗大學。芒福德的俠肝義膽深深感動了數學領域和計算機視覺領域的學者們。臨行前,芒福德和老顧深談數次,朱師兄也和老顧談了他在計算機視覺研究方面雄偉藍圖。最終芒福德將老顧推薦給丘成桐先生學習微分幾何。數十年後,朱師兄多用統計方法研究計算機視覺,老顧則偏好非主流的微分幾何方法。
參考資料
[1] WeiZeng, Xianfeng Gu, Ricci Flow for Shape Analysis and Surface Registration -Theories, Algorithms and Applications, Series Springer Briefs in Mathematics, Publisher: Springer New York, ISBN978-1-4614-8780-7, 2013.[2] Lok MingLui, Xianfeng Gu, Shing-Tung Yau: Convergence of an iterative algorithm for Teichmuler maps via harmonic energy optimization. Math. Comput. 84(296),2823-2842, (2015)
[3] Mayank Goswami, Xianfeng Gu, Vamsi PrithamPingali and Gaurish Telang, Computing Teichmuller maps between polygons, Foundations of Computational Mathematics, 2015.
[4] Na Lei, Xiaopeng Zheng, Jian Jiang, Yu-Yao Lin and Xianfeng Gu, Quadrilateral andHexahedral Mesh Generation Based on Surface Foliation Theory, Computer Methods
in Applied Mechanics and Engineering, In Press, 2016.【老顧談幾何】邀請國內國際著名純粹數學家,應用數學家,理論物理學家和計算機科學家,講授現代拓撲和幾何的理論,演算法和應用。
這種東西大家還是謹慎樂觀吧,不要高估跟丘成桐相關的人士的節操,他手下有的人致個詞能當著上百人的面拍丘成桐馬屁拍半個多小時,你能指望這種人搞出多少好東西?有人把丘成桐比作丁春秋還是比較形象的。
comformal mapping, 被人掛了狗頭, 呵呵
推薦閱讀:
※時隔十五年後,卡梅隆及其代表的好萊塢商業團體重製《泰坦尼克號 3D》的商業信心在哪?
※3D生物列印的主要難點是什麼?
※哪些技術突破導致 3D 列印近些年來如此熱門?
※自動化化妝神器有可能實現嗎?會對傳統手動化妝以及女性日常生活帶來什麼影響?