在SFM中，增量式重建和全局式重建有哪些比較經典的論文？

01-11

在SFM中，增量式重建和全局式重建有哪些比較經典的論文？以及第一次提出這些重建思想的論文分別是什麼？

瀉藥。就按里程碑說吧，SfM自身包含了很多小塊，match、BA...和親弟slam也很像，歡迎補充。

Incremental ：

要追溯重建思想的話就到Marr的奠基理論，以及分層重建思想了~最早最著名的奠基工作，沒記錯的話是偶像男神Marc Pollefeys" research page Marc Pollefeys 的&<self-calibration and metric reconstruction inspite of varying and unknown intrinsic camera parameters&>(系列工作中的標杆), Marr Prize, best paper. 自標定演算法開始成熟後，擺脫人肉重建的曙光出現，全自動的創世機器有望完成，後續跟進了很多研究，可以看一下引用這篇文章的研究（當然必須要提L. Van Gool，老爺子的組最近出了很多工作，車禍現場GAN方向有幾篇比較有意思的文章）；
後面就是完全開源、穩定666的Bundler（snavely/bundler_sfm）&，Prof. Noah Snavely。記得在我什麼都不會的時候，給Snavely教授發郵件問了很多極幼稚加弱智的問題，但是他很nice地在極短時間內耐心地一一答覆了我，讓我十分感動，也堅實了我一個人啃三維重建的決心。Bundler即使到了現在依然有做baseline的精度和魯棒性，作為最早開源的代碼之一，對SfM的發展起到了至關重要的作用，後續的很多偉大工作無不受其影響；
後續出現的諸如VisualSFM(ChangChang Wu)&, COLMAP&...都是比較出名的Project；
有意思的幾個工作：Building Rome in a Day ，Building Rome on a Cloudless Day，Reconstructing the world* in six days，人類越來越強大...

還有很多了，暫時想起來的就是上面幾個， Structure-from-Motion Revisited的related work可供參考。增量式的瓶頸在於image matching和Bundle Adjustment，為了加速和提升精度，在演算法和並行化上都有非常多的改進。

Global：增量式的典型問題就是一張/幾張加進去太慢，且誤差會累積，導致相機軌跡飄移（slam里也一樣，loop closure）,所以就出來了全局式，一下子全部放進去煮，文火煮一小時再放醬油冰糖，不是，是算旋轉算位移，再總體優化，總之BA出場的次數被降低，從二階錐規劃開始逐漸興起。

Shape and motion from image streams under orthography: a factorization method
A factorization based algorithm for multi-image projective structure and motion
Multiple-View geometry under the L∞Norm
A Global Linear Method for Camera Pose Registration
Global Motion Estimation from Point Matches
Global Fusion of Relative Motions for Robust
Accurate and Scalable Structure from Motion
Discrete-continuous optimization for large-scale structure from motion...

好累，，，總之要掃文的話，最好去幾個比較大的組的主頁去掃，以及上面經典文章的相關工作部分，重要的工作基本都能找全了。

現在每年頂會的SfM文章越來越少了，我現在也去做別的方向了（coding太辣雞做不動啊。。。），希望還在前沿的大神能介紹下SfM的最新工作~以及未來的發展路線~

個人還是很喜歡SfM的，特別是做過一些RGB-D重建之後，，，SfM從最簡陋的工具出發，憑藉精妙智慧恢復出了一個維度。可以想像一個蓬頭垢面黑眼圈已經擴展到脖子的博士，在一個深夜寫完最後一行代碼，編譯運行，眼死盯著屏幕，看著一堆帶著畸變模糊的二維image，一張張地被排列起來，一片片的點匯聚到了一起，羅馬斗獸場、紅場、天壇逐漸顯現，那種創世的爽感真的是，，，會被師妹誤會的。

深夜答一波吧。

一般認為，Photo Tourism為incremwntal SfM的奠基性的工作，不過實際上Photo Tourism的思路是從David Lowe的相關工作中借鑒過來的。由於Bundler（作者是康奈爾大學的Snavely）在重建從網路上獲取的大規模無序圖片（10K的量級）的成功，後面更有VisualSfM，OpenMVG，Colmap（應該是目前state-of-the-art的incremental式SfM）。但是增量式SfM儘管在重建精度和魯棒性上都表現得相當不錯，但是同時也存在效率不足以及在大規模場景下會drift的問題，前者是由於重複的BA操作，而BA又是十分耗時的一個操作，因為要優化的參數太多了。後者也是由於誤差的累積造成場景不閉合的問題。

global方式基於motion averaging，緩解了incremental式的問題。由於只在最後執行一次BA，效率上也優於incremental不少。但是缺點就是對外點比較敏感。這部分自己還不太了解，目前還在挖這方面的論文。

hierarchical的方式在重建效率上也要比incremental高，更不易受外點影響，但是精度不夠。相關文章相比前面兩種也比較少。

這三種是目前較廣為人知的方法。除此之外，此處省略……

自己目前的工作也是SfM，準備把這學期的工作和idea做個實現趕趕ECCV的ddl。

手機碼字不容易，有空再更。

12.15日更新

趁著跑實驗的間隙，來補充一波論文（正好在寫paper，直接把我的references拿出來好了）

Incremental SfM:

[1] Seitz S M, Szeliski R, Snavely N. Photo Tourism:

Exploring Photo Collections in 3D[J]. Acm Transactions on Graphics, 2006,

25(3):835-846.

[2] Agarwal S,

Snavely N, Simon I, et al. Building Rome in a day[J]. Communications of the

Acm, 2011, 54(10):105-112.

[3] Snavely K

N. Scene reconstruction and visualization from internet photo collections[M].

University of Washington, 2008.

[4] Frahm J M,

Fite-Georgel P, Gallup D, et al. Building Rome on a cloudless day[C]// European

Conference on Computer Vision. Springer-Verlag, 2010:368-381.

[5] Wu C.

Towards Linear-Time Incremental Structure from Motion[C]// International

Conference on 3dtv-Conference. IEEE, 2013:127-134.

[6] Moulon P,

Monasse P, Marlet R. Adaptive structure from motion with a contrario, model

estimation[C]// Asian Conference on Computer Vision. Springer Berlin

Heidelberg, 2012:257-270.

[7] Sch?nberger

J L, Frahm J M. Structure-from-Motion Revisited[C]// Computer Vision and

Pattern Recognition. IEEE, 2016.

Hierarchical SfM:

[8] Farenzena

M, Fusiello A, Gherardi R. Structure-and-motion pipeline on a hierarchical

cluster tree[C]// IEEE, International Conference on Computer Vision Workshops.

IEEE, 2009:1489-1496.

[9] Gherardi

R, Farenzena M, Fusiello A. Improving the efficiency of hierarchical

structure-and-motion[C]// Computer Vision and Pattern Recognition. IEEE,

2010:1594-1600.

[10] Toldo R,

Gherardi R, Farenzena M, et al. Hierarchical structure-and-motion recovery from

uncalibrated images[J]. Computer Vision Image Understanding, 2015,

140(C):127-143.

[11] Chen Y,

Chan A B, Lin Z, et al. Efficient tree-structured SfM by RANSAC generalized

Procrustes analysis[J]. Computer Vision Image Understanding, 2017,

157(C):179-189.

[11]是實驗室老師的論文，嘿嘿

最後，上一張自拍照