3D 識別

來自專欄計算機視覺進階2 人贊了文章

Frustum PointNets for 3D Object Detection from RGB-D Data

創新點----

• 先前的工作把3D的點雲投影到image或者 volumetric grids by quantization，這樣丟失了一些信息，本文直接對原始數據進行操作【PointNet】。
• 如何定位，是detection的關鍵.【PointNet只能對整體分類，或者對每個點分類做分割。????？????能做分割不能做detection??????】本文同時利用了2D detection和3D localization。

貢獻----

• 提出一個檢測框架

location:

先前的方法和問題：

1. Front view image based methods:

• 將深度數據表示為2D map並應用CNN來定位2D圖像中的對象
• 投影丟失了信息

2. Bird』s eye view based methods：

• 投影到birds eye view，用RPN網路找bbox
• 檢測小目標效果不好

3. 3D based methods：

• 類似於2D，提出很多3D boxes by sliding windows or region proposal net
• 問題在於計算複雜度 -----解析度，大場景 實時

本文方案：根據維度縮減準則減少搜索空間，利用3D檢測的優勢

通過 壓出2D bbox提取3D 截頭錐體，在 以3D截頭錐體為邊界的 3D空間里，連續的執行3D實例分割（預測感興趣對象的mask），用兩個變種PointNet建模3D bbox回歸(預測bbox)

3D數據是點雲的形式如何表達，使用什麼網路來進行3D檢測是一個問題。我也不知道，沒看明白

Figure 2. Frustum PointNets for 3D object detection.

• We first leverage a 2D CNN object detector to propose 2D regions and classify their content.
• 2D regions are then lifted to 3D and thus become frustum proposals.
• Given a point cloud in a frustum (n × c with n points and c channels of XYZ, intensity etc. for each point), the object instance is segmented by binary classification of each point.
• Based on the segmented object point cloud (m×c), a light-weight regression PointNet (T-Net) tries to align points by translation such that their centroid is close to amodal box center.
• At last the box estimation net estimates the amodal 3D bounding box for the object.

推薦閱讀：