從此，激光雷達和攝像頭，就是一個東西了？

來自專欄量子位27 人贊了文章

車栗子 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

最近幾年，放在攝像頭上的深度學習研究，發展很蓬勃。相比之下， 激光雷達 (LiDAR) 身上的學術進展並不太多。

可是，激光雷達採集的數據，有很多優點。比如空間信息豐富，比如光照不足也不影響感知，等等。

當然，也有缺點。激光雷達數據，缺乏RGB圖像的原始解析度、以及高效的陣列結構 (Array Structure) 。並且，3D點雲很難在神經網路里編碼。

要是能把激光雷達和攝像頭，變成一台設備就好了。

如何「淘汰」攝像頭？

激光雷達廠商Ouster，是領域內獨角獸Quanergy的前聯合創始人Angus Pacala，出走之後建立的新公司。

去年11月，公司推出了OS-1激光雷達，想要打破激光雷達與攝像頭之間的界限。

中心思想是，只要激光雷達的數據足夠好，就算專為處理RGB圖像而生的深度學習演算法，也可以拿來用。

Pacala說，現在OS-1可以實時輸出固定解析度的深度圖像 (Depth Image) ，信號圖像 (Signal Image) 以及環境圖像 (Ambient Image) 。

這些任務都不需要攝像頭的參與。

數據層與數據層之間，是空間相關的。拍攝高速運動的物體，也不容易產生果凍效應 (Shutter Effects) 。

另外，OS-1的光圈，比大多數單反相機的光圈要大，適合光照不足的場景。

團隊還開發了光敏度很低的光子計數ASIC，在低光照的情況下採集環境圖像。

設備可以在近紅外波段捕捉信號與環境信息，獲得的數據，跟普通可見光圖像差不太多。

這樣，分析RGB圖像用的演算法，也可以處理激光雷達的數據。

小夥伴們可以用Ouster (剛剛進行了固件升級) 的開源驅動，把數據轉換成360度的全景動態：

感測器輸出的數據，不需要預處理，就是這樣的效果。

數據跑一跑

就像剛才說的，只要數據夠好，就可以用那些為攝像頭開發的演算法，來做深度學習。

把深度、強度和環境信息，編碼成向量。就像RGB圖像可以編碼成紅綠藍通道一樣。

所以，OS-1的數據質量究竟怎麼樣？

Pacala說，他們用過的演算法，和激光雷達的合作都很愉快。

舉個栗子，他們訓練了一個像素語義分類器，來分辨可以行駛的道路，其他汽車，行人，以及自行車。

這裡是舊金山，在英偉達GTX 1060上運行分類器，實時生成了這樣的**語義分割**效果：

這是團隊做的第一個實現。

數據是逐像素的數據，所以能夠無縫將2D翻譯成3D幀，來做邊框估計 (Bounding Box Estimation) 這類實時處理。

除此之外，團隊還把深度、信號和周圍環境分開，單獨放進神經網路里去跑。

一個栗子，用了SuperPoint項目里預訓練的神經網路，來跑強度和深度圖像。

網路是在RGB圖像上訓練的，從來沒接觸過激光雷達/深度數據。初次見面，卻一見如故：

Pacala說，激光雷達測距，在隧道、高速公路這樣的規則幾何環境里，可能不是很開心；而視覺測距，會在缺乏**質地**變化、缺乏**光照**的情況下，無所適從。

OS-1用多模態的方法，把兩者結合起來，療效就不一樣。

1 + 1 > 2，這可能就是Ouster想要表達的意思。

還沒有真正上路

2015年年初，Angus Pacala離開Quanergy。

同年，Ouster在矽谷成立。

2017年12月，公司宣布完成2,700萬美元A輪融資，並同時推出了售價3,500美元的OS-1。

腳步不算快，但團隊也算找到了自己要走的路。圖像語義分割演算法展現的效果，或許就是一個初步的肯定。

不過到目前為止，並沒有消息顯示，Ouster與哪間車廠達成過合作。也可能是之前推出的某些產品，性能並不盡如人意。

帶有攝像頭屬性的激光雷達，上路之後究竟會又怎樣的表現，還不得而知。

單從思路來看，依然有理由期待。

Medium原文傳送門：

https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6

GitHub項目傳送門：

https://github.com/ouster-LIDAR

— 完 —

歡迎大家關注我們的專欄：量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI· 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態