現在工業上的零部件分揀已經發展到什麼程度了？

01-07

例如我在一個物料盒裡放上不同產品的零部件，零部件尺寸可能很小，機械手臂能通過視覺的方法識別並抓取出指定零件嗎，最後在把該零件放在指定位置。

機器視覺行業按應用來分，可以歸納為幾類應用：

1、檢測，一般指缺陷檢測，例如表面劃痕、缺損、漏裝、錯裝等等，一般會搭配剔除裝置、打標裝置，或者機械手臂，通過這些裝置標記有問題的被測物，或者剔除，或者抓取。

2、定位（識別），確定被測物的空間位置，大部分搭配機械手臂做抓取操作。題主的問題可以歸到這一類應用。

3、測量，測量物體的尺寸，可以是二維，也可以是三維尺寸。測量的目的，並不是僅為了獲得物體的尺寸，最終目的也是判斷物體合格不合格，和第一類的區別，可以認為一個是定性（缺陷），一個是定量（測量）。

4、讀取，一般指一維碼、二維碼、OCR等等。

如果細分的話，還可以分成很多。但大類，我想了想，以上這4類應該可以覆蓋到了。歡迎各位同行補充。

再來看題主的問題，上面已經提到，題主問的零部件分揀，可以歸到第2類，這算是機器視覺行業的一大類應用，也是比較成熟的應用。這類應用，背後所用到的技術有，識別（二維，三維），手眼標定（統一坐標系，標準程式），機械手臂控制（哦，產品配套的標準功能，告知坐標即可，自己可以規劃路徑），所以這類應用的核心是識別。對於已知型號來說，一般採用模板匹配技術，來定位物體位置，包括二維匹配和三維匹配，對於平面零件，二維即可，其他不規則立體零件，採用三維匹配技術，確定好位置之後，通過手眼標定，統一到機械手臂坐標系，就可以進行抓取操作了。

題主提到零部件很小，小到什麼程度沒有提，只要不是堆疊嚴重，是可以識別定位的，因為對於零部件來說，都是剛性物體，大部分都有圖紙，比較容易建立模板，所以難度不是很大。對於太小的物體，我想難度在於如何設計抓取裝置吧。

至於發展到什麼程度，我把它理解為，識別技術到底發展到什麼程度了。對於零部件來講，其實只用到了物體的邊緣特徵，只要能提取到邊緣就夠了。對於識別技術來講，現在比較熱的是deep learning，基於神經網路等分類器，把物體的多維度特徵（顏色，邊緣，紋理等等）輸入分類器，進行訓練分類，最後用於識別。例如下面這些分類。這些比零件複雜多了。

歡迎各位補充意見。

前兩天看到過一個分揀西紅柿的視頻，可以看看。

基本上可以說生產一台汽車所需的6000多零部件都能分揀。整箱無序排列的大小不規則零件，機器臂或吸或夾，成像的同時做質檢，之後有序碼放在產線上。

我們用的是2D結合3D的視覺方案，比純2D精準，比純3D經濟。

成熟產品，待大規模全球推廣，目前只在德國車企有應用。

理論上可以，實際上這樣操作的意義不大。藉由高解析度的攝像頭結合一定的演算法，設備是有可能實現對不同零件的識別的，實現的難度在於不同形狀和尺寸的零件使用同一個手臂的吸嘴/爪子去實現抓取，以及如何辨識不同擺放狀態下的相似零件。實際上更簡單的方式是將物料盒分區，各區只放置對應的零件，藉由位置識別實現對於零件的識別，然後通過身份辨別的方式做二次確認，這樣才是比較經濟的方式。

瀉藥，如其他答案所說，單一零件的分揀已經可以進行到非常好的程度了

你所說的，多種零件混雜排列，也不是做不到，只是做起來於經濟性有唄，所以少見實際的應用。

現在問題比較大的，還是2D視覺系統限制導致的對實際尺寸大小的不敏感，如果要測定尺寸大小，必須要將視覺系統固定，視角收小，如果你在一個盒子里放上一堆1：2的等比例螺絲的話，普通的視覺系統就很容易被糊弄了。3D視覺現在還處在社會主義初級階段，激光視覺系統則太過昂貴和光源單一。

已經是非常智能的程度了，我們公司最近在做的項目需求如下：

具體要求：流水線上物體定位識別分類，並用機械臂抓取分類

感測器：攝像頭，3D激光掃描攝像頭

流水線物體：主要是各種形狀不規則的塑料，紙張等，包括各種塑料袋，塑料繩，透明塑料薄膜，塑料膜具；報紙，白紙，雜誌，紙箱等。一共約不超過50類有些需要根據顏色和透明度分類。

要求

1.通過傳統和深度學習技術，根據感測器數據識別物體（包括層疊後露出部分的物體），在數據中檢測出邊緣，確定具體類別（和抓取位置），例如屬於麵包包裝塑料袋。

2.通過傳統和深度學習技術，訓練機械臂抓取流水線上的物體，並放到流水線旁各種物體分類對應的箱子里，每個機械臂可對應圍繞它旁邊6種不同種類的箱子。要求每次抓取運送時間小於2秒。機械臂可在電腦模擬環境進行訓練，成功後轉到真實場景。機械臂可進行離線和在線訓練。機械臂可根據抓取結果自行修正進行自主訓練（離線在線都可）。

3.系統可根據流水線上物體多少和分類速度自行調整流水線速度（流水線本身速度可調）。系統提供相應通訊及軟體設置交互界面。系統具有工業實用性，運行穩定可靠。

題主說的這個目前已經有成熟的方案了，一般的做法是：

1，視覺系統方案商

2，機械手

3，集成商

現在可以做到隨機擺放的零件由視覺系統識別後分揀並以規定的方法放置到指定位置。

當然，這種分揀方法的總體效率還是要低於一些傳統的靠振動、氣流或者一些幾何尺寸來分揀的效率，但是好處是適應性很強。

需要好好調研一下，工件由於存在表面反光、鏽蝕、輪廓近似等問題，將不同零件放於同一盒中可能會增加難度，是否可以考慮單個型號放在一起(參考basicbeyond的回答，盒中大部分是同一種物品)，有部分廠商提出使用3d激光線掃描實現了分揀單類零件的解決方案，但是未看到應用於多類的。最後，既然使用視覺分揀必然是想進一步提高整套系統的效率，故應用場景應該是單獨一類零件比較好。祝題主順利！

做智能分揀做過很多，比較接近的可能是實驗室和華為的合作項目，其中一個模塊是完成按鈕開關，插針，貼片按鈕等的小物體分揀。

其實小和大物體，對相機而言，只要你的成像想過夠好，就沒問題，一般而言使用的2d相機是point grey灰度相機。通過抖料盤可以把物體分開，完成抖料盤中所有物體的位姿估計和識別，並進行可抓取區域的判斷，如果不能，則進行抖動。

講一個大致流程，我們實驗室和華為合作的結果蠻好的，但是華為不能拍照，所以沒有對應視頻，加油，共勉～

1、3D匹配，空間多自由度實時路徑抓取，最複雜，已有高端應用。

2、整列，偽3D,2D識別，測量，判定，固定路徑抓取，非常成熟和低成本，東莞電子行業大量使用。

簡單來說，在不考慮成本（相機數量，相機像素，光源數量等）的前提下，按照某種邏輯排列的物品（這裡的邏輯可以理解為，同一平面，同一方向，同一速度等）都可以進行定位檢測

後續的發展方向就是無序堆放（疊層，積壓等）條件下的抓取定位了，也就是俗稱的3D視覺檢測