從感測器和演算法原理講起,機器人是如何避障的丨硬創公開課
編者按:本文內容來自大道智創CTO邢志偉在雷鋒網硬創公開課的分享,由雷鋒網(公眾號:雷鋒網)旗下欄目「新智造」整理。
避障是指移動機器人在行走過程中,通過感測器感知到在其規劃路線上存在靜態或動態障礙物時,按照 一定的演算法實時更新路徑,繞過障礙物,最後達到目標點。
避障常用哪些感測器
不管是要進行導航規劃還是避障,感知周邊環境信息是第一步。就避障來說,移動機器人需要通過感測器 實時獲取自身周圍障礙物信息,包括尺寸、形狀和位置等信息。避障使用的感測器多種多樣,各有不同的原理和特點,目前常見的主要有視覺感測器、激光感測器、紅外感測器、超聲波感測器等。下面我簡單介紹一下這幾種感測器的基本工作原理。
超聲波
超聲波感測器的基本原理是測量超聲波的飛行時間,通過d=vt/2測量距離,其中d是距離,v是聲速,t是 飛行時間。由於超聲波在空氣中的速度與溫濕度有關,在比較精確的測量中,需把溫濕度的變化和其它因素考慮進去。
上面這個圖就是超聲波感測器信號的一個示意。通過壓電或靜電變送器產生一個頻率在幾十kHz的超聲波脈衝組成波包,系統檢測高於某閾值的反向聲波,檢測到後使用測量到的飛行時間計算距離。超聲波感測器一般作用距離較短,普通的有效探測距離都在幾米,但是會有一個幾十毫米左右的最小探測盲區。由於超聲感測器的成本低、實現方法簡單、技術成熟,是移動機器人中常用的感測器。超聲波感測器也有一些缺點,首先看下面這個圖。
因為聲音是錐形傳播的,所以我們實際測到的距離並不是 一個點,而是某個錐形角度範圍內最近物體的距離。
另外,超聲波的測量周期較長,比如3米左右的物體,聲波傳輸這麼遠的距離需要約20ms的時間。再者,不同材料對聲波的反射或者吸引是不相同的,還有多個超聲感測器之間有可能會互相干擾,這都是實際應用的過程中需要考慮的。
紅外
一般的紅外測距都是採用三角測距的原理。紅外發射器按照一定角度發射紅外光束,遇到物體之後,光會反向回來,檢測到反射光之後,通過結構上的幾何三角關係,就可以計算出物體距離D。
當D的距離足夠近的時候,上圖中L值會相當大,如果超過CCD的探測範圍,這時,雖然物體很近,但是感測器反而看不到了。當物體距離D很大時,L值就會很小,測量量精度會變差。因此,常見的紅外感測器 測量距離都比較近,小於超聲波,同時遠距離測量也有最小距離的限制。另外,對於透明的或者近似黑體的物體,紅外感測器是無法檢測距離的。但相對於超聲來說,紅外感測器具有更高的帶寬。
激光
常見的激光雷達是基於飛行時間的(ToF,time of flight),通過測量激光的飛行時間來進行測距d=ct/2,類似於前面提到的超聲測距公式,其中d是距離,c是光速,t是從發射到接收的時間間隔。激光雷達包括發射器和接收器 ,發射器用激光照射目標,接收器接收反向回的光波。機械式的激光雷達包括一個帶有鏡子的機械機構,鏡子的旋轉使得光束可以覆蓋 一個平面,這樣我們就可以測量到一個平面上的距離信息。
對飛行時間的測量也有不同的方法,比如使用脈衝激光,然後類似前面講的超聲方案,直接測量佔用的時間,但因為光速遠高於聲速,需要非常高精度的時間測量元件,所以非常昂貴;另一種發射調頻後的連續激光波,通過測量接收到的反射波之間的差頻來測量時間。
圖一
圖二
比較簡單的方案是測量反射光的相移,感測器以已知的頻率發射一定幅度的調製光,並測量發射和反向信號之間的相移,如上圖一。調製信號的波長為lamda=c/f,其中c是光速,f是調製頻率,測量到發射和反射光束之間的相移差theta之後,距離可由lamda*theta/4pi計算得到,如上圖二。
激光雷達的測量距離可以達到幾十米甚至上百米,角度解析度高,通常可以達到零點幾度,測距的精度也高。但測量距離的置信度會反比於接收信號幅度的平方,因此,黑體或者遠距離的物體距離測量不會像光亮的、近距離的物體那麼好的估計。並且,對於透明材料,比如玻璃,激光雷達就無能為力了。還有,由於結構的複雜、器件成本高,激光雷達的成本也很高。
一些低端的激光雷達會採用三角測距的方案進行測距。但這時它們的量程會受到限制,一般幾米以內,並且精度相對低一些,但用於室內低速環境的SLAM或者在室外環境只用於避障的話,效果還是不錯的。
視覺
常用的計算機視覺方案也有很多種, 比如雙目視覺,基於TOF的深度相機,基於結構光的深度相機等。深度相機可以同時獲得RGB圖和深度圖,不管是基於TOF還是結構光,在室外強光環境下效果都並不太理想,因為它們都是需要主動發光的。像基於結構光的深度相機,發射出的光會生成相對隨機但又固定的斑點圖樣,這些光斑打在物體上後,因為與攝像頭距離不同,被攝像頭捕捉到的位置也不相同,之後先計算拍到的圖的斑點與標定的標準圖案在不同位置的偏移,利用攝像頭位置、感測器大小等參數就可以計算出物體與攝像頭的距離。而我們目前的E巡機器人主要是工作在室外環境,主動光源會受到太陽光等條件的很大影響,所以雙目視覺這種被動視覺方案更適合,因此我們採用的視覺方案是基於雙目視覺的。
雙目視覺的測距本質上也是三角測距法,由於兩個攝像頭的位置不同,就像我們人的兩隻眼睛一樣,看到的物體不一樣。兩個攝像頭看到的同一個點P,在成像的時候會有不同的像素位置,此時通過三角測距就可以測出這個點的距離。與結構光方法不同的是,結構光計算的點是主動發出的、已知確定的,而雙目演算法計算的點一般是利用演算法抓取到的圖像特徵,如SIFT或SURF特徵等,這樣通過特徵計算出來的是稀疏圖。
要做良好的避障,稀疏圖還是不太夠的,我們需要獲得的是稠密的點雲圖,整個場景的深度信息。稠密匹配的演算法大致可以分為兩類,局部演算法和全局演算法。局部演算法使用像素局部的信息來計算其深度,而全局演算法採用圖像中的所有信息進行計算。一般來說,局部演算法的速度更快,但全局演算法的精度更高。
這兩類各有很多種不同方式的具體演算法實現。能過它們的輸出我們可以估算出整個場景中的深度信息,這個深度信息可以幫助我們尋找地圖場景中的可行走區域以及障礙物。整個的輸出類似於激光雷達輸出的3D點雲圖,但是相比來講得到信息會更豐富,視覺同激光相比優點是價格低很多,缺點也比較明顯,測量精度要差 一些,對計算能力的要求也高很多。當然,這個精度差是相對的,在實用的過程中是完全足夠的,並且我們目前的演算法在我們的平台NVIDIA TK1和TX1上是可以做到實時運行。
KITTI採集的圖
實際輸出的深度圖,不同的顏色代表不同的距離在實際應用的過程中,我們從攝像頭讀取到的是連續的視頻幀流,我們還可以通過這些幀來估計場景中 目標物體的運動,給它們建立運動模型,估計和預測它們的運動方向、運動速度,這對我們實際行走、避障規劃是很有用的。
以上幾種是最常見的幾種感測器 ,各有其優點和缺點,在真正實際應用的過程中,一般是綜合配置使用多種不同的感測器 ,以最大化保證在各種不同的應用和環境條件下,機器人都能正確感知到障礙物信息。我們公司的E巡機器人的避障方案就是以雙目視覺為主,再輔助以多種其他感測器,保證機器人周邊360度空間立體範圍內的障礙物都能被有效偵測到,保證機器人行走的安全性。
避障常用演算法原理
在講避障演算法之前,我們假定機器人已經有了一個導航規劃演算法對自己的運動進行規劃,並按照規劃的路徑行走。避障演算法的任務就是在機器人執行正常行走任務的時候,由於感測器的輸入感知到了障礙物的存在,實時地更新目標軌跡,繞過障礙物。
Bug演算法
Bug演算法應該是最簡單的一種避障演算法了,它的基本思想是在發現障礙後,圍著檢測到的障礙物輪廓行走,從而繞開它。Bug演算法目前有很多變種, 比如Bug1演算法,機器人首先完全地圍繞物體,然後從距目標最短距離的點離開。Bug1演算法的效率很低,但可以保證機器人達到目標。
Bug1演算法示例改進後的Bug2演算法中,機器人開始時會跟蹤物體的輪廓,但不會完全圍繞物體一圈,當機器人可以直接移動至目標時,就可以直接從障礙分離,這樣可以達到比較短的機器人行走總路徑。
Bug2演算法示例除此之外,Bug演算法還有很多其他的變種, 比如正切Bug演算法等等。在許多簡單的場景中,Bug演算法是實現起來比較容易和方便的,但是它們並沒有考慮到機器人的動力學等限制,因此在更複雜的實際環境中就不是那麼可靠好用了。
勢場法(PFM)
實際上,勢場法不僅僅可以用來避障,還可以用來進行路徑的規劃。勢場法把機器人處理在勢場下的 一個點,隨著勢場而移動,目標表現為低谷值,即對機器人的吸引力,而障礙物扮演的勢場中的一個高峰,即斥力,所有這些力迭加於機器人身上,平滑地引導機器人走向目標,同時避免碰撞已知的障礙物。當機器人移動過程中檢測新的障礙物,則需要更新勢場並重新規劃。
一種擴展的方法在基本的勢場上附加了了另外兩個勢場:轉運勢場和任務勢場。它們額外考慮了由於機器人本身運動方向、運動速度等狀態和障礙物之間的相互影響。
轉動勢場考慮了障礙與機器人的相對方位,當機器人朝著障礙物行走時,增加斥力, 而當平行於物體行走時,因為很明顯並不會撞到障礙物,則減小斥力。任務勢場則排除了那些根據當前機器人速度不會對近期勢能造成影響的障礙,因此允許規划出 一條更為平滑的軌跡。
另外還有諧波勢場法等其他改進方法。勢場法在理論上有諸多局限性, 比如局部最小點問題,或者震蕩性的問題,但實際應用過程中效果還是不錯的,實現起來也比較容易。
向量場直方圖(VFH)
它執行過程中針對移動機器人當前周邊環境創建了一個基於極坐標表示的局部地圖,這個局部使用柵格圖的表示方法,會被最近的一些感測器數據所更新。VFH演算法產生的極坐標直方圖如圖所示:
圖中x軸是以機器人為中心感知到的障礙物的角度,y軸表示在該方向存在障礙物的概率大小p。實際應用的過程中會根據這個直方圖首先辨識出允許機器人通過的足夠大的所有空隙,然後對所有這些空隙計算其代價函數,最終選擇具有最低代價函數的通路通過。代價函數受三個因素影響: 目標方向、機器人當前方向、之前選擇的方向,最終生成的代價是這三個因素的加權值,通過調節不同的權重可以調整機器人的選擇偏好。VFH演算法也有其他的擴展和改進,比如在VFH+演算法中,就考慮了機器人運動學的限制。由於實際底層運動結構的不同,機器的實際運動能力是受限的,比如汽車結構,就不能隨心所欲地原地轉向等。VFH+演算法會考慮障礙物對機器人實際運動能力下軌跡的阻擋效應,屏蔽掉那些雖然沒有被障礙物佔據但由於其阻擋實際無法達到的運動軌跡。我們的E巡機器人採用的是兩輪差動驅動的運動形式,運動非常靈活,實際應用較少受到這些因素的影響。
具體可以看 一下這個圖示:
類似這樣傳統的避障方法還有很多,除此之外,還有許多其他的智能避障技術,比如神經網路、模糊邏輯等。
神經網路方法對機器人從初始位置到目標位置的整個行走路徑進行訓練建模,應用的時候,神經網路的輸 入為之前機器人的位姿和速度以及感測器的輸 入,輸出期望的下一目標或運動方向。
模糊邏輯方法核心是模糊控制器,需要將專家的知識或操作人員的經驗寫成多條模糊邏輯語句,以此控制機器人的避障過程。 比如這樣的模糊邏輯:第一條,若右前方較遠處檢測到障礙物,則稍向左轉;第 二條,若右前方較近處檢測到障礙物,則減速並向左轉更多角度;等等。
避障過程中存在哪些問題
感測器失效
從原理上來講,沒有哪個感測器是完美的,比方說機器人面前是一塊完全透明的玻璃,那麼採用紅外、激光雷達或視覺的方案,就可能因為這個光線直接穿過玻璃導致檢測失敗,這時候就需要超聲波這樣的感測器來進行障礙物的偵測。所以我們在真正應用的過程中,肯定都需要採取多種感測器的結合,對不同感測器採集到的數據進行一個交叉驗證,以及信息的融合,保證機器人能夠穩定可靠的工作。
除此之外也有其他模式可能導致感測器失效,比如超聲波測距,一般需要超聲陣列,而陣列之間的感測器如果同時工作的話,會容易互相產生干擾,感測器A發射的光波反射回來被感測器B接收,導致測量結果出現錯誤,但是如果按照順序一個個工作,由於超聲波感測器採樣的周期相對比較長,會減慢整個採集的速度,對實時避障造成影響,這就要求從硬體的結構到演算法都必須設計好,儘可能提高採樣速度,減少感測器之間的串擾。
還有比如說,機器人如果需要運動的話,一般都需要電機和驅動器,它們在工作過程中都會產生電容兼容性的問題,有可能會導致感測器採集出現錯誤,尤其是模擬的感測器,所以在實現過程中要把電機驅動器等設備、感測器的採集部分,以及電源通信部分保持隔離,保證整個系統是能夠正常工作的。
演算法設計
在剛剛提到的幾個演算法,很多在設計的時候都並沒有完善考慮到整個移動機器人本身運動學模型和動力學模型,這樣的演算法規划出來的軌跡有可能在運動學上是實現不了的,有可能在運動學上可以實現,但是控制起來非常困難,比如剛剛提到的如果一台機器人的底盤是汽車的結構,就不能隨心所欲地原地轉向,或者哪怕這個機器人是可以原地轉向,但是如果一下子做一個很大的機動的話,我們的整個電機是執行不出來的。所以在設計的時候,就要優化好機器人本身的結構和控制,設計避障方案的時候,也要考慮到可行性的問題。
然後在整個演算法的架構設計的時候,我們要考慮到為了避讓或者是避免傷人或者傷了機器人本身,在執行工作的時候,避障是優先順序比較高的任務,甚至是最高的任務,並且自身運行的優先順序最高,對機器人的控制優先順序也要最高,同時這個演算法實現起來速度要足夠快,這樣才能滿足我們實時性的要求。
總之,在我看來,避障在某種程度上可以看做機器人在自主導航規劃的一種特殊情況,相比整體全局的導航,它對實時性和可靠性的要求更高一些,然後,局部性和動態性是它的一個特點,這是我們在設計整個機器人硬體軟體架構時一定要注意的。
讀者提問環節
多機協同的避障策略有哪些?
多機協同避障策略在整個SLAM方向上都還是一個在鑽研的熱點領域,單純就避障來說,目前的方案是,當有兩個或多個機器人協同工作的時候,每個機器人會在一個局部各自維護一個相對的動態地圖,所有機器人共享一個相對靜態的地圖,而對於單個機器人來說,它們會各自維護一個更加動態的地圖,這樣當兩個機器人接近一個位置時,它們會將它們維護的動態地圖合併起來。
這樣子有什麼好處呢,比如視覺只能看到前方一個方向,這時候跟後面機器人的動態地圖合併之後,就能看到前後整個局部的動態信息,然後完成避障。
多機協同的關鍵在於,兩個局部地圖之間的分享,就是它們分別在整個相對靜態的全局地圖上是有一小塊一個窗口的位置,到這兩個窗口可能融合的話,會把它們融合在一起,同時去指導兩個機器人的避障。在具體實現過程中,也要考慮整個信息傳輸的問題,如果是自己本身的局部地圖,由於都是本機的運算,速度一般都比較快,如果是兩個機器人協作的話,就要考慮到傳輸的延時,以及帶寬的問題。
避障有無標準的測試標準和指標?
目前就我所了解業界並沒有什麼統一的測試標準和指標,我們目前測試的時候會考慮這些指標,比如在單個障礙物或是多個障礙物,障礙物是靜態的或動態的情況下避障效果如何,以及實際規划出的路徑完美度如何,還有這個軌跡是否平滑,符合我們觀感的效果。
當然,這個最重要的指標我覺得應該避障是否失敗就是成功率的問題,要保證這個避障不管是碰到靜態的或者是動態的物體,然後那個物體不管是什麼材質,比如說如果是動態的人,我們穿什麼樣的衣服會不會對整個避障功能造成影響,另外就是不同的環境又會有什麼樣的影響,比如光線充足或暗淡。對於避障來說,成功率才是最為關鍵的。
雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知。
推薦閱讀:
※光電滑鼠的滾輪如何識別轉動方向?
※國內有哪些比較好的CMOS圖像感測器設計公司?
※怎麼看待近兩年很流行的event-based camera?能否在未來成為主流的slam感測器?
※為什麼VR遊戲玩完後會頭暈、噁心?
※光電感測器可以多敏感?