如何評價kinema systems的識別抓取系統？

kinema systems公司的kinema pick產品據稱是首家實現深度學習與3d視覺融合技術用於工業機器人「world"s first deep learning 3d vision for industrial robots」、在youtube上有視頻介紹

話說，我應該是國內最早知道 Kinema Systems 這家公司的吧（剛成立的時候就知道了），半年前在雷鋒網做公開課（運動規劃 | 視頻篇）的時候就提到過它。

先說說 Kinema Systems 這家公司。

它的整體套路其實跟 MUJIN 類似（fly qq：mujin 工業機器人設計公司，他的優勢在哪裡，在演算法上獲得了哪些突破？），簡單地說，就是希望把學術界在機器人上的研究成果放到工業機器人上，從而提高工業機器人易用性。

Kinema Systems 與 MUJIN 最大的相似點在於，其主要創始人是非常著名的運動規劃開源平台的創始人：

MUJIN CTO：Rosen Diankov 開源平台：OpenRave

Kinema Systems CEO：Sachin Chitta 開源平台：MoveIt!

對於 MoveIt! 這個平台，我就不多介紹了，與 OpenRave 也差不多一個套路，但是是從 ROS 里出來的，具體介紹可以看這裡：運動規劃 | MoveIt篇

然後回答問題：Kinema Systems 的識別抓取系統。

首先，是不是首家將深度學慣用到工業機器人上的？這個我覺得應該不是，至少就感知角度來看，我們實驗室應該比他們早把基於深度學習的視覺用到工業機器人上；APC 2016 比賽上也有不少隊伍用了這些技術。具體參考我以前發的幾個內容：

fly qq：有沒有將深度學習融入機器人領域的嘗試？有哪些難點？

fly qq：amazon picking challenge（APC）2016中識別和運動規劃的主流演算法是什麼？

對於深度學習在機器人上的應用，我個人的態度是很開放的：如果傳統方法不好解決，完全可以去試深度學習。

最直接的就是視覺：對於 3D 物體識別，傳統的方法 （ppf, vpf, linemod 等）效果其實都不是太好，而深度學習在像素級分割、物體分類等方面已經這麼強了，把深度學習物體識別用到機器人上可以說是順理成章。

當然，網上找不到太多 Kinema Systems 的具體技術細節，但就他們這個應用（碼垛分揀）來說，我覺得深度學習可能用來做了以下幾件事：

• 物體檢測：一些箱子是堆在一起，並且中間有條縫（膠帶），只用傳統方法可能不太好解決（沒試過，不清楚）；
• 商標檢測：由於視頻中有一段是「Label Alignment」，這部分也可能是使用 SSD 或者 Fast-RCNN 之類的檢測演算法，來檢測商標在箱子上的位置。

而抓取系統方面，就沒什麼東西了：

• 抓取規劃（Grasp Planning）：只用吸盤，不需要太多抓取規劃，只要箱子識別好了，運動過去就行了。
• 運動規劃（Motion Planning）：沒有任何的運動規劃，就是簡單的給幾個路徑點，讓機器人自己做軌跡插補。由此可以看出，要想在真正的工業機器人上用運動規劃還是很不容易的，畢竟 MUJIN 花了五年時間。

最後，這類技術肯定是在未來一段時間內將徹底改變工業機器人使用現狀的，還是希望國內能出幾個這種類型、且技術尚可的公司。

╮(╯▽╰)╭

xieyao! 首先感謝提醒還有這樣一個公司，Products | Kinema Systems。很高興越來越多的機器人公司進入到這個領域，這對整個機器人領域，對grasping的研究都會有積極正面的影響。

首先看下Kinema Systems的產品特性， 見Products | Kinema Systems

• Fast Cycle Times
• Self-calibrating - no more manual calibration
• Deployable on standard or industrial PC
• GPU accelerated Deep-Learning and 3D Vision for Locating Boxes
• Label Detection and Alignment
• PLC Interface
• Easy to use browser-based GUI

其中第一條節拍，由於不知道具體數值，不好評價，但是其他的幾條基本是目前做bin-picking解決方案的公司都需要的，沒有太多的獨特之處。從視頻與介紹來看，應該也是有學術轉工業的痕迹，其中有幾個人我應該是認識的，不好一一去詢問。整體來看，應該是演算法能力（5星），工程實現能力（3.5星，仔細看他們拆垛視頻，應該還存在定位誤差的問題，要不然抓取點不會那麼選擇），場景選取能力（3星，似乎他們想表達可以拆各種混雜的垛型，但實際中這卻不是問題的關鍵)。

回到主題，我們將題目稍微放大一點點：如何評價一個視覺識別抓取系統？

一套完整的機器人物體抓取系統，按照流程分為以下四個子系統，每個子系統又包括硬體和軟體兩部分:

1： 送料系統：這個決定被抓的物體是什麼樣的形式？傳送帶送過來的，移動小車送過來的，飛過來的（看我以前實驗室的video https://www.youtube.com/watch?v=M413lLWvrbI），人遞送過來的，一般這個是由場景決定的。這個是目前機器人grasping研究的一個重要陣地，不斷的創造新的應用場景。

2：視覺系統：視覺系統是這一輪科技浪潮中最顯眼的，各種演算法與視覺感測器硬體都有大量的人才投入。這個在kinema systems的網頁上也有提及，他們也是用了自己的視覺系統。目前我所知道的像mujin，righthand都是用的工業上比較成熟的視覺系統。如果一個公司要做工業上成熟的視覺系統，基本上對標的就是康耐視與基恩士了， 3D視覺確實是一個新發展起來的領域，機會還是很大的。

3：機器人系統：這個包括機器人本體與機器人的各種基礎演算法。同理，做本體的也有很多，這些基本對標的就是機器人四大家族。做軟體的相對較少，但是mujin應該是在這個領域做的非常好的，一方面由於他早期的OpenRave，另外一面來據說日本機器人本體製造給了mujin很多深層次的介面。這個當應用的要求升級時尤為重要。

4：抓取系統：最後一個就是抓取系統，包括末端執行器與抓取規劃以及抓取控制演算法。末端執行器的設計這方面很多公司都在進行探索，像robotiq，schunk。抓取規劃目前的應用還是偏簡單，沒有太多複雜的抓取點規劃。像google的deep grasping，伯克利的dexnet， preferred network的deep learning for grasping，還都是從圖像選取一個合適的抓取位置與姿態。做抓取控制演算法的也基本沒有，完全都是open loop或者是用了passive compliance，主動的力控制基本還停留在學術圈的少數研究。

以上幾點其實還都很不成熟，無論是學術界還是工業界，都只能選取好合適的場景，來證明自己的東西是有價值的，這方面我們在ICRA上其實已經連續兩年組織了workshop：

IROS 2016 Closed-loop Grasping and Manipulation: Challenges and Progress

ICRA 2017 Sensor-Based Object Manipulation for Collaborative Assembly

在ICRA 2018，我們應該還會組織一個相關的workshop來探討這方面的最新技術與進展。

最後說一點個人的感受，robot learning不是萬能的，更多的是一種解決問題的思維方式。robot learning可以對perception， planning， control甚至是design都有貢獻，但是也不至於可以解決所有的問題，很多時候可能只是一個宣傳點。

——

鑒於高票答案已修改，此答案也做修改並刪除了關於「發帖目的」以及「DL子領域了解程度」的質疑，質疑的本意是希望國內工業機器人智能公司在討論技術時還是以技術本身為重，多列舉乾貨，以數據而不是觀念說話，畢竟知乎是避免「利益決定態度」的地方。大家在領域內，都希望智能工業機器人這個行業往好的方向走。