微分幾何(Differential Geometry)在工程領域有什麼應用？

12-31

請各位學工程的講講，微分幾何在你們領域有什麼應用，應用多不多？然後現在是在主流領域還是已經基本不行了？
聽我的導師講，在控制領域，只有相當少的一部分人在用微分幾何，基本上已經不再主流範圍內了，我想知道其他領域的情況。

至少 Computer Graphics 裡面有一堆. 比較完整的書大概像是手邊這本 Siggraph 2006 的 Course Note[4], Discrete Differential Geometry: An Applied Introduction.

具體例子的話, 最近正好因為某個 Course Project 的緣故讀了篇相關的論文, 做的是保持特徵的情況下的網格簡化(Mesh Saliency). 作者利用離散微分幾何中的平均曲率[1], 定義了該點 Saliency(大致想法就是用那個點附近的那些點的平均曲率加上個正態分布作為權重, 再算一下不同標準差下面的變化. ) 來刻畫曲面的凸起程度[3], 並以此改進了之前的簡化演算法[2], 效果如下:

仔細看的話, 可以發現在用了相同數量三角形網格的情況下, 下面這排的 Armadillo 看起來比上面這排保持了更多的特徵(比如說鼻子和眼睛更明顯).

多說幾句的話, [2]中的簡化演算法是逐點對合併的, 所以說我們會得到下面這樣的頂點和面的序列:

這樣的合併順序的計算, 可以通過前面提及的 Saliency 進行預處理. [4]裡面還有更多的應用, 比如說和物理模擬相關的, 不過答主不是搞 Grahpics 的, 所以也就不班門弄斧了. Reference

[1]Taubin G. Estimating the tensor of curvature of a surface from a polyhedral approximation[C]//Computer Vision, 1995. Proceedings., Fifth International Conference on. IEEE, 1995: 902-907.

[2]Garland M, Heckbert P S. Surface simplification using quadric error metrics[C]//Proceedings of the 24th annual conference on Computer graphics and interactive techniques. ACM Press/Addison-Wesley Publishing Co., 1997: 209-216.

[3]Lee C H, Varshney A, Jacobs D W. Mesh saliency[C]//ACM transactions on graphics (TOG). ACM, 2005, 24(3): 659-666.

[4]Grinspun E, Desbrun M, Polthier K, et al. Discrete differential geometry: an applied introduction[J]. ACM SIGGRAPH Course, 2006, 7.

可以關注顧險峰教授個人微信公眾號「老顧談幾何」，裡面有一系列介紹微分幾何應用在計算機圖像方面的文章，適用範圍涵蓋機械製造業、數字媒體、醫療行業等等。比如醫療方面的腦神經疾病的診斷，虛擬腸鏡；動漫動畫方向的人臉表情捕捉、三維掃描；工業製造方面的樣條曲面設計、三維列印等。在《解構「解構主義大師」扎哈·哈迪德》一文中，顧險峰教授還從拓撲和幾何的角度，對建築大師扎哈·哈迪德的作品中所隱藏的數學理論進行了深度的解讀，從中可以看到微分幾何學對於建築的意義。

在統計建模和機器學習中，微分幾何都有大量的應用。在這裡不得不提一下一個交叉學科 -- Information Geometry，研究的內容主要是manifolds of probability distributions. 推薦兩本相關的書 Methods of Information Geometry, Information Geometry and Its Applications | Shun-ichi Amari | Springer.

在機器學習領域，我們總是希望能夠學習一個能夠用來做預測分類的函數，比如神經網路分類器，svm分類器。為了能夠學習並且運用這個函數，我們首先要解決的就是如何表徵這個函數。在parametric modeling中，我們經常會對這個函數或者數據進行參數化表徵。而在實際的演算法中，機器學習演算法的performance對於如何參數化表徵這個函數或者數據十分敏感，大量的工作都是在研究如何提出更好的representation，從而提高演算法的性能。(一個常見的例子就是對數據進行白化.) 但仔細一想，這其實很奇怪，為什麼我們對同一個函數用不同的表徵就會得到不同的效果呢？

所以，我們希望我們設計的演算法能夠獨立於representation。而微分幾何這門學科用一句話概括正是： Differential geometry is all about constructing things which are independent of the representation.

講了那麼多，不免有些抽象。給一個例子來闡述一下微分幾何（更多是信息幾何）應用在機器學習上的motivation：

對於多項式擬合，如果將數據點從 $[-2, 2] ightarrow [8, 12]$ ，擬合出來的曲線是一致的，只是有了個shift，這說明它是獨立於參數化的具體方式（parameterization）.但是如果我們加上正則項後就不一樣了：

如果對此感興趣，還有一個叫做natural gradient的東西，也很值得一觀。對於gradient descent，它是depends on坐標系的選取的，在直角坐標系下和極坐標下往往是不一致的，就算只是對坐標系乘個scale，也會導致differential不一樣，從而最後gradient也會有一個scale的變換。（differential是一個covector）所以在information geometry這門交叉學科中有研究naural gradient，也就是如何去得到representation-invariant的update，但是其也有局限性，因為需要知道參數空間的Riemannian structure. 貼一段Amari論文的摘要：

Gradient adaption is a useful technique for adjusting a set of parameters to minimize a cost function. While often easy to implement, the convergence speed of gradient adaptation can be slow when the slope of the cost function varies widely for small changes in the parameters. In this paper, we outline an alternative technique, termed natural gradient adaptation, that overcomes the poor convergence properties of gradient adaptation in many cases. The natural gradient is base on differential geometry and employs knowledge of the Riemannian structure of the parameter space to adjust the gradient search direction. Unlike Newton"s method, natural gradient adaptation does not assume a locally-quadratic cost function. Moreover, for maximum likelihood estimation tasks, natural gradient adaptation is asymptotically Fisher-efficient. A simple example illustrates the desirable properties of natural gradient adaptation.

當然，我以上講到的更多都是motivation，微分幾何在機器學習中的運用還有太多例子，建議大家多關注Amari的工作，一起學習探討.

Reference

[1] Amari, S. I., Douglas, S. C. (1998, May). Why natural gradient?. In Acoustics, Speech and Signal Processing, 1998. Proceedings of the 1998 IEEE international conference on (Vol. 2, pp. 1213-1216). IEEE.

我來說個我自己遇到的事情吧。

曾經組裡面遇到過這樣的一個問題，做回歸，回歸裡面有兩個參數，比如a和b吧，回歸的模型就是y=f(x|a,b)醬子。審稿人要求作穩定性的檢驗，就是說有誤差的時候用回歸算出來的參數和真實的差多少。那麼一般的辦法就是先固定參數利用模擬產生一組x和y，然後再加噪音，再用這組數據去做回歸，看得到的參數和原來差多少。

跑完模擬結果參數方差很大，然後仔細一看參數差不多都分布在一條曲線上。仔細想一下原因就是可能兩個參數點離得很遠，但是回歸出來的函數相差沒那麼多。

我一看卧槽這不就是Riemann幾何嘛，可以定義參數空間上的metric，那麼問題就在與這個metric跟Euclidean Metric 不一樣，解決方法就是reparameterize 一下，使得新參數空間上的induced metric跟Euclidean Metric 盡量接近，這個可以用變分的方法做到，直接帶到拉格朗日公式里，最後就得到一個調和映照的條件，我們只要解一個偏微分方程就可以了。

我把這個想法跟師兄說了，然後被揍了一頓。

機械臂機器人控制導航定位SLAM，但凡想稍微精細客觀中立不夾雜私貨的描述一個實體的運動或者狀態的變化以及狀態之間的度量，都涉及到微分幾何。另外，微分幾何的先導課程為立體幾何。

微分幾何提供了一種思路而不是演算法，讓人誤解頗多。

有時間再多說兩句。

控制領域可以用於input state linearization和input output linearization

計算機視覺，三維重建，到處都是啊啊啊！！！

上次大疆無人機的李澤湘教授在AI會議上講了好一會兒的微分幾何。。

《a mathematical introduction to robotic manipulation》by Zexiamg Li et al.

板殼大變形

建築設計會用到可展曲面。搜Helmut Pottman可得更多微分幾何在建築上的應用。

定向鑽井井眼軌跡計算得用到微分幾何。

嚙合原理

彈性力學；機械原理；曲面性質等