KIT： Automotive Vision汽車視覺學習筆記（2）Binocular Vision 雙目視覺

4 人贊了文章

本文僅作為自動駕駛方向愛好者的學習之用，不可用於任何商業途徑。

教程源自:KIT MRT所（KITTI由該所負責），作者：Dr. Martin Lauer。

本文主要為翻譯與自己學習記錄。

第二章：Binocular Vision 雙目視覺

1. 雙目視覺 / 立體視覺

通過2個camera組成，R3 ? R2 x R2，雙目視覺是模擬人類視覺原理，使用計算機被動感知距離的方法。從兩個或者多個點觀察一個物體，獲取在不同視角下的圖像，根據圖像之間像素的匹配關係，通過三角測量原理計算出像素之間的偏移來獲取物體的三維信息。得到了物體的景深信息，就可以計算出物體與相機之間的實際距離，物體3維大小，兩點之間實際距離。

2. 對極幾何 Epipolar Geometry

其中：virtual image planes在攝像機前距離為1的位置；

P, Fl, Fr 位於對極平面中；

極點e：左右攝像原點到在另一個虛擬平面上的投影。

對極面上的所有點都可以映射到在虛擬圖像平面上的點q，與極點e組成極線

對極幾何的意義在於：對於任意 一定在極線上，這就限制了搜索區域；同時一對極線描述同一個平面。

3. Fundamental Matrix基礎矩陣

當分析essential matrix E時，就需要用到camera的坐標。

在fundamental matrix F的情況下，首選圖像坐標：

舉例：圖像對比中的對極幾何

鏡頭水平平移：

鏡頭垂直移動：

鏡頭水平與垂直移動：

鏡頭沿著光學軸線平移

特殊例子：同樣的像平面image planes和內參數:

極線彼此平行

極點e位於無限的位置

4. disparity視差：

5. Rectification校正：

• 校正：將具有相交極線的圖像對與具有平行極線的圖像對準。
• starting point開始點: 2個camera具有不同的相機參數,和不同的坐標系
• objective：為了定義2個虛擬的攝像機

-擁有相同的焦距

-以完全相同的方式對齊（定向）

-它的x軸平行於連接兩個焦點的基線

-它的焦點與原有的焦點完全一致

7. Correspondence Problem對應的問題：

對應的點：具有相同的灰度值

具有相同的局部環境

在同一對極線上

鄰域被保存（大部分時候）

左圖像中的u坐標大於右圖像中的u坐標（校正後的圖像）

8. Block Matching 塊匹配

基礎思路：對比2個點的局部環境

特徵選用：平均灰度值差異或者均方差

當鄰域的灰度差值一致，則可以視為同一塊

例子：通過計算視差：

Block Matching的

優點： 非常普通的方法，總是適用

並不需要知道對極幾何

缺點： 完整的搜索需求非常大的算力

一個清楚的分配只可能在，當局部環境中的灰度結構很豐富時（如果灰度變化很小，就很難區分）

較大的環境會增加計算時間，而較小的環境的灰度結構通常比較差。

備註：灰度值並不是獨立於光線，所以，快匹配在梯度圖像中表現更好（Laplace

or Sobel filtered images）

記錄： 課件篇幅有限很概略，還有很多理解不夠深入的地方。缺少標定的內容，但大體框架有了些理解，更細節的還得專門看這方面文獻。也請各位諒解我這渣排版。實在不想重新再把這麼多函數重新組織一次

推薦閱讀：