ADAS領域中，雷達和機器視覺各有什麼優劣，未來的趨勢是共存還是某個徹底勝出？

01-23

&>&> 本問題已加入 人工智慧 · 自動駕駛 圓桌中，歡迎關注圓桌參與更多討論 &<&<

就如人的感官，感測器的感知是從輔助駕駛到自動駕駛甚至無人駕駛最為重要的一環！

對外部環境的探測，感測器大概是這樣「進化」的：

超聲波雷達：價格低廉，可探測2米（早期）到5米（當前）範圍內的障礙物。

車上用的一般是收發一體的探頭，少的裝4個在後保險杠，多的裝12個前後各6個。

主要能夠實現泊車時的障礙物報警。應用5米探測範圍的超聲波雷達可以實現自動輔助泊車。

但其響應速度慢，精度低，探測距離小。

毫米波雷達：根據頻率分一般有24GHz以及77GHz的產品，77GHz頻率主要為車載設備劃分，因此越來越多的雷達會應用77GHz頻率。

根據探測距離分有長距離250米，中距離150米以及短距離40-70米。

雷達發射經過調製的無線電波，對金屬有很好的探測，根據發出和收回的時間差可計算出目標距離，根據多普勒效應計算相對速度。這兩項也是雷達算的最準的參數。

但其對目標水平的探測精度較低且無法識別目標類型。最早的ACC就應用的毫米波雷達，但由於這些限制，只能工作在30km/h以上。

攝像頭：有單目和雙目攝像頭之分，現在普遍應用的是單目攝像頭，主要用於目標類型的判斷，以及車道線識別。

目前行業老大當屬Mobileye，其EyeQ3是目前量產車中所配製的最高端的產品。

少數車配以雙目攝像頭，其對目標的探測有深度信息，但由於成本高，且這些信息對比單目並未有質的飛躍很少被採用。

主要能夠實現車道偏離報警、車道保持、對行人和車輛的AEB等。

其主要問題在於受環境影響非常大，雨雪霧沙塵霾都會使識別能力降低，抵抗強光的能力也不夠強。對於莫能兩可的目標沒法有效識別，比如到底是個橫過來的車還是個路上的廣告橫幅（特斯拉事故），對於沒見過的目標也不容易正確分類，比如三蹦子。

有了攝像頭和毫米波雷達的組合，很多2級系統都可以實現了，比如特斯拉的Autopilot。攝像頭和毫米波雷達各司其職，數據融合後用於判斷和控制。實現基本的橫向和縱向控制沒有問題。

激光雷達：激光雷達並非最近才出現，很早以前就有車用激光雷達做ACC和AEB，但都是固定發出多少線這種，這裡要說的是激光掃描雷達，包含機械的旋轉機構，比如ibeo和Velodyne。固態雷達目前還在研發階段，在車上應用尚需時日。

激光雷達通過紅外激光能夠精確測距，其探測角度FOV Velodyne 360度，ibeo的差不多110度，法雷奧的量產產品140度左右。垂直方向從4線到64線不等。

優點很明顯，激光掃描雷達是對周圍障礙物位置形狀最為精確的探測感測器，其數據包含探測到的點的距離和反射強度。反射強度還可以用於車道線的識別。

其缺點是，Velodyne成本高，且一直不做目標識別演算法。ibeo的產品無論硬體還是演算法仍不成熟，因此在應用上還存在諸多困難。

感測器數據融合是必要方法！

得益於強勁的大腦，人類只靠雙眼就能開車。

而以當前的技術來看，每種感測器都有局限，有些是感測器本身，比如雷達的橫向精度和對行人的檢測，有些是演算法還不夠先進，比如攝像頭。

因此，多感測器相互備份和補充是必不可少的。

比如，對一個目標，一輛車。用雷達取得的距離，相對速度，用攝像頭識別類型和其與車道線位置關係，用激光識別其外形輪廓。構成一個目標完整的信息，之後再送入處理器運算。這就完成了多感測器數據融合的第一步，聽起來是不是很簡單！

但實際會複雜非常多，處理這些屬性時的權重也需要根據不同情況判定。

說到未來，假設說只有一個感測器能勝出的話，我估計會是攝像頭，因為所有信息都可以通過攝像頭重構出來，但是什麼時候能實現就不知道了~

趨勢必然是共存~

----------------------------------------------------------------------------------------

機器視覺分為單目視覺跟雙目視覺，基本原理是通過三角法測量物體與設備之間的距離，區別在於雙目視覺需要在光照條件好的情況下測量，而單目由於藉助結構光，測量恰恰相反，只能在室內使用（所以kinect只能在室內使用）

它們的缺點也很明顯，魯棒性差，如果遇到雨霧等，基本SB了；還有就是測量範圍，在10米內，精度能做到1%左右，但是這樣的測試距離，應用在汽車無人駕駛上，顯然是不滿足的

有點是價格便宜，成本在幾百元以內

而且隨著深度學習的進展，視覺不僅可以用來3D重建，測距離，還可以識別物體，這點激光雷達是很難做到的

----------------------------------------------------------------------------------------

激光雷達原理亦分為兩種，三角測距法與TOF法，三角測距法測試距離同樣為10米以內，跟視覺相比，3D重建效果差不多，但魯棒性要好；TOF法的激光雷達（谷歌的無人駕駛雷達），精度高，距離遠，但是技術壁壘很強，三維點雲演算法一直是個大難題，所以成本很高，便宜的也要大幾萬人民幣以上了，所以激光雷達幾乎與視覺方案形成了互補

----------------------------------------------------------------------------------------

以後的ADAS領域，必然是兩者兼有：採用便宜的視覺方案實現識別與輔助定位，以及採用產業鏈成熟的激光雷達（目前還不成熟），或者毫米波雷達，Led雷達（價格低），這兩者結合，比單純的提高視覺激光雷達演算法，要事半功倍！！

必然是共存啊。兩種不同原理的感測器，各有優劣，沒有誰能完美替代另一個。

樓上有人說到霧霾，我測試過的結果是，霧是激光雷達第一殺手，尤其濃霧。由於主要激光雷達的波長都是905nm，比可見光長不了多少，所以很容易被空氣中的微粒吸收。濃霧，或者嚴重霧霾，激光雷達的表現基本和攝像機差不多（金屬物體還有信號接收到,人穿的布料就看不見了）。雨天激光雷達的噪點增多，雨不大還可以忍受。毫米波雷達由於波長長，幾乎不受任何影響，但是解析度低，只能在簡單環境，比如高速上使用。

所以攝像機只能在天氣晴好（陽光還不能太強）的白天工作，激光雷達在晴好的白天晚上都可以，毫米波雷達不受天氣影響。

swir或者flir攝像機可能可以克服極端天氣，原因是可以接收更長波長的遠紅外線。目前某歐盟H2020項目便再做這方面的研究。

多感測器融合是必然的，幾種感測器各有優劣勢。

相機可以獲取rgb信息，得不到深度信息，通過圖像恢復三維信息受光線、路況紋理特徵的影響較大，精確度也低。目前也有rgb-d相機，但好像很多是採用紅外信息獲取深度的，抗干擾不行，解析度也低。

三維激光雷達可以直接獲取準確三維信息，探測距離遠，精度也較高，只是目前價格還較高，velodyne的低端3d lidar，折算人民幣價格要差不多5w以上。

如果以後視覺晶元可以做到在線實時處理的話，將機器學習演算法實現在晶元上，用圖像做汽車、行人、路牌等的識別檢測，也可以用圖像做導航，再結合激光雷達數據做導航數據的融合，也許是可行的。

6年前在亞洲某國的國家試驗場測試camera和radar的fusion system, 優點很多, 當時還看到了同事發的一篇集成方面的論文, 優先順序上雷達優先.

3年前去德國看到低成本的camera only的方案, 萬幸沒在中國應用.

目前的方案, 豪華車在中國還是採用fusion方案, radar優先.

雷達的優勢在於縱向目標距離與速度的探測，對橫向目標敏感度較低，但對環境的魯棒性比攝像頭高，攝像頭的優勢在於橫向目標的探測，包括交通燈，車道線的識別是雷達無法替代的，但是易受天氣影響，二者相輔相成，互補優勢，未來必須是多感測器的數據融合。

大家說得對，數據融合是必然方向。

只是數據融合併不是什麼新鮮事物，早幾十年導彈的制導中，衛星、紅外、雷達、電視等兩種或多種混合制導模式就已經在應用了，這是因為沒有哪種單一模式是能應付所有使用環境的。

數據融合的方法也是一抓一大把，網上一搜已經很多論文，軍事應用已經很成熟了。感覺這方面應該是非常適合軍轉民的一個領域，同時，也期待大量的民間公司湧入這個領域，能夠反推這個領域的進步。

Voila：

未來的趨勢必然是共存，也就是雷達和攝像頭的sensor data fusion。嗯，這個問題是我本行，改天好好回答下

————

拋開霧霾談視覺都是耍流氓

ADAS即利用高性能信號處理技術，並部署各種基於雷達和視覺的高級駕駛輔助系統。目前大多數先進駕駛輔助系統功能基本上是其自有的獨立系統，具有雷達、攝像頭和超聲波等最常用的感測器，可以探測光、熱、壓力或其它用於監測汽車狀態的變數。

1）應用技術方案一：攝像頭

基於視覺系統提供路線偏差預警、安全車距預警、碰撞緩衝剎車系統、交通信號識別、智能前燈控制、物體檢測/分類、行人檢測等功能。

2）應用技術方案二：雷達

基於雷達系統可提供前/後停車幫助、安全車距預警、車道變換輔助、盲點檢測、碰撞緩衝剎車系統、全速範圍自適應巡航控制等功能。

3）應用技術方案三：超聲波

超聲波常應用於停車輔助系統、自助停車、盲點檢測和代客停車。

目前大多數先進駕駛輔助系統功能基本上是其自有的獨立系統，具有雷達、攝像頭和超聲波等最常用的感測器。但要實現市場應用，也有嚴格的要求：

1）視覺/攝像頭

l 不同ADAS系統中的強勁發展趨勢增加了對新型、高級半導體組件的需求。

l 數字信號通信取代模擬方案以提供更高的帶寬和圖像處理速度。

l 總體解決方案尺寸和功率耗散對於縮減攝像模塊尺寸至關緊要。

l 降低線束的成本和重量並節約連接器的成本。

l DSP 性能提升以運行多種更高性能的視覺演算法。

2）雷達

l 集成模擬前端、鎖相環(PLL)和合成器以及射頻(RF)組件，以縮減系統成本、功耗和板級空間。

l 需要採用具有低抖動和低相位雜訊的時鐘、具有高達38GHz頻率的壓控振蕩器（VCO）、具有10GHz+頻率的鎖相環(PLL)及採用波形發生功能的合成器，以實現所需的雷達系統性能。

l 採用低雜訊RF電源以提升/實現雷達及模擬信號鏈路的性能。

3）一般的ADAS基本要求

l 安全關鍵系統（例如自主剎車系統和轉向）將需要符合ISO26262認證。

l 感測器融合（攝像頭、雷達、超聲波）以實現更高的系統性能。

l 更低的功耗。

l 汽車安全性評價（NCAP、NHTSA）、政府強制性法令和消費者的安全意識推動了ADAS市場的快速成長。

總之一句話，各有優劣勢。所以根據他們自身的優劣勢，應用領域也就不同。

不能從單一方面去評價哪個最好。

目前比較普遍的採用視覺圖像識別，因為便宜，性價比高。

如果真的要做得好，做得全，準確度高，必須是相互結合。

自然界中不需要視覺的動物有很多，仍然活得很愉快。只要你捨得砸錢進去，可以完全不採用依靠攝像頭的機器視覺技術，超聲紅外雷達就齊活了。在夜間、霧霾天氣機器視覺很多時候無能為力。未來的趨勢肯定是共生，畢竟機器視覺的成本要低很多，而且搞研究水論文的人更多。

雷達只能輸出規定的是數據，機器視覺體驗對每一個成像元素的分析能力最終還是局限於人的思維能力

未來的趨勢必然是共存，而且最好的方案是能把各信號處理技術各感測器的優勢部分取出來集中在同一套系統中。

至於優劣：

1.距離問題。機器視覺目前更適用於短距離微小的監測，因為其對光照的要求較高；而雷達同樣適用於近距離微小遠距離宏大的監測，例如飛機的雷達系統。所以，現多數採用雷達，尤其是激光雷達，其精度很高。

2.靈敏度問題。個人認為，目前ADAS系統最大的問題不在於監測方式而在於機械響應速度，即使監測夠靈敏，能迅速處理好信號，將訊息傳遞到機械裝置那裡，機械裝置也不能迅速響應發生動作實現功能，中間有較大的時間差。

3.精度問題。目前來說，無論是雷達還是機器視覺，對於高精度的自動駕駛輔助系統而言，這兩者目前的精度還是不夠的。其他答主提到，現已有毫米級精度的激光雷達。

4.不可替代性問題。有些系統的功能是其他系統無法替代的。例如，對信號燈的識別需要機器視覺，除非將各路段的信號燈設置放置在ADAS系統中，或者採用雲技術…利用GPS定位，通過演算法/雲技術推算出車輛所在路段位置，調出瞬時信號燈，然後車輛做出反應。

————腦洞分割線————

個人有一個想法，不知是否可行。

方案：

①遠距離時，可以考慮用激光、雷達GPS等系統進行預判

②近距離時，可以考慮用機器視覺超聲波進行精確定位、識別、監測…

③辨別信號燈方面，可以考慮採用機器視覺，但貌似最好考慮將各路段的信號燈設置放入ADAS系統中，從而辨別各路段信號燈。可以考慮藉助GPS系統/4G信號收發系統等系統，使得車與基站進行實時交流，可以參考飛機起飛時飛機與基站的通訊交流。

④緊急狀況下如何利用大數據云技術計算出最佳躲避風險的演算法來保障安全是最最重要的，然而演算法這個並不屬於我了解的範圍，因此我還沒有思路。

本人拙見還希望各大神不吝賜教~

77GHZ雷達適合高精度的距離測量，時實性好，在下雨和下雨、霧下，影響不大。適合AEBACC。

而camera適合車道保持，人臉，人形試別，泊車等。

圖像給人看起來很直觀，但是給計算機看起來比較費勁，尤其是在極端光照條件下，可以說，目前所有圖像演算法都不能用。太陽光直射、目標反光、強陰影等問題都是擺在圖像面前的攔路虎。

但是ADAS的話也可以用，因為能在理想條件下給出告警也是可以的

Lidar的點雲測距很准，目前的缺點是點較稀疏，主流Velodyne HDL64E 一幀數據大概10萬個點，但是近處比較密而遠處更加稀疏，還有就是目前還是那種帶機械旋轉機構的掃描方式，帶來幾個問題：1. 旋轉機構增加成本，導致價格昂貴，2. 旋轉結構降低了可靠性 3.旋轉機構不方便安裝，只能裝在車頂，帶來諸多問題

希望能用電子機構代替機械旋轉結構，同時提高解析度，降低成本，這樣的話LIDAR的前景很好

點雲在障礙檢測和車輛跟蹤相對視覺有較大優勢，但是對識別類任務不太擅長，比如路標識別，行人檢測等，由於目標較小，打在目標上的點很少，識別難度大，還有路標主要依靠顏色和圖案，是點雲不能提供的，這方面還是得依靠視覺

當然，圖像和LIDAR融合是很好的想法，但是其時空配准也不容易，就算是硬體觸發，也只能保證相機開始曝光的時間與點雲開始採集時間一致，曝光時間一定程度上不可控（一般採用自適應曝光，曝光時間與場景亮度有關，如果固定曝光時間的話變換場景圖像就會太亮或者太暗），而且目前的LIDAR是100ms採集360度，當車速很快時，點雲自身就有偏差需要補償，再想跟圖像精確配准更是難。

想想以後深度相機能在室外用的話就好了，來個2000*1000的rgb-d圖像，相信很多問題的難度都會下降很多。

亂說一通，難免失妥～