如何評價Google 的 Project Tango ？

11-17

Google 今天發布了一項名為 Project Tango 的計劃，希望藉此打造一款裝有 3D 感應器，並且能記錄運動、感知使用者周遭環境的 Android 手機原型機。目前它僅對一小部分開發者開放，而負責它的是 Google 旗下的 ATAP（先進技術與計劃）部門。

GOOGLE早前已經收購了全球最優秀的機器人和AI公司，現在還弄一個能感知環境的項目。名義上是手機用的程序，我覺得實際是在測試他們機器人的「眼睛」！骨架、大腦和眼睛都具備了，請問機器人離我們還遙遠嗎？

送上視頻供參考

Say hello to Project Tango_視頻

題主既然說到了機器人，就首先說一下，這個project tango確實跟機器人是有點關係的。硬體是目前robot vision的主流硬體，技術也是robot tracking和3D mapping的研究技術（最新談不上，但基本在此硬體上能應用的最新技術都用上了，而且還優化不少）。
但與其說這個是一個結合機器人的設備，倒不如說是為機器與人的交互服務的，或者說是一個為AR應用量身設計的一個設備。

當我們現在在移動端談論AR的應用時，我們都談論些什麼？給些最基本的：
物體識別，目標跟蹤，手機的能自主精確六自由度導航定位，對周圍3D場景進行描繪…
這些都涉及到現在一個新的研究方向，叫3D scene understanding，讓機器能理解周圍場景。

當機器能準確把握周圍場景，我們才可以在我們身旁的手機上實現一些更為高級的交互，比如跟現實場景設計遊戲。

在移動端做這樣一個3D scene understanding的設備，為AR鋪墊，方便交互，就是google的目的。

為什麼google要做一個新的手機原型呢？
因為現在的computer vision技術應用在我們的手機上，缺少感測器，不適於做實時的AR應用。舉個例子，比如對三維場景需要知道深度。傳統相機只有一個攝像頭，深度雖然能估算出來，但是既不準，還耗費計算資源。這個手機上加了一個depth sensor，就簡化了很多問題。再比如處理器有兩塊是適於做computer vision的並行處理器，同樣是為了加速計算。

這樣一個手機有沒有意義？
當然有意義。尚且不知道google是否會把這個打造成一個同android類似的開源平台。但是其結合了新的硬體以及相當多的機器人技術之後，這個手機平台的系統會和android差異很大，也更加智能。google可以先做這樣一個嘗試。加上depth sensor和motion tracking camera對現在用戶來說必然是價格負擔，但是如果它能提供一定的AR應用，肯定有大批用戶難以拒絕的。

放個3D scene constructed by Project Tango，其能力已經類似於Kinect + PC，未來還不夠樂觀么？

--------------------------------------------------------------------------------------------------------------------------------------------

google收集的八家公司，多家與此技術有交集。抱歉之前工作比較忙，忘了更新。最近有很多新朋友關注。我簡述一下寫個番外。

首先說說Industrial Perception，個人猜測這個項目是以這個公司團隊作為核心。這個公司由Kurt Konolige和Gary Bradski創立，兩位都是在視覺導航方面的成果卓著的博士。這個公司原先的目標是構建一個支持3D識別和自主導航的機器人框架，並把應用在工業機器人上（Startup Spotlight: Industrial Perception Building 3D Vision Guided Robots）。Project Tango這個項目雖然與機器人的實際應用不同，但是上面已經說到了，其實二者的目標，和軟體框架都是非常相似的。

第二個是Meka robotics。Meka robotics比較著名的是與MIT media lab的人形機器人。不過與Boston Dynamic這種側重於機器人控制系統不同。他們最新的機器人研究側重於視覺和人機交互上（Meka Robotics Announces Mobile Manipulator With Kinect and ROS）。在使用3D信息的情況下，他們的軟體系統傾向於如何對周圍場景進行感知學習並做出反應。這也是上面說的3D scene understanding。

從目前Tango能夠實現的效果來看，差不多能做到這二者的程度。在多感測器融合問題上，其他六家公司也能提供一定的技術和專利支持，只能說有交集，但並不一定有所參與。比如BotDolly，Boston Dynamics的平台，都能實現六自由度的精確跟蹤控制，這個作為視覺跟蹤的一部分，應該Industrial Perception就已經可以很好解決。

這個項目還只是開始，之前的一篇報道說google計劃在未來五到十年繼續豐富自己的AR和機器人團隊，可能還會有很多類似的收購（可惜暫時沒找到來源）。

前段時間對Google Tango做了一個系統性的公開課講解：【泡泡機器人公開課】第八十課解密Google Tango，從視覺慣性里程計到機器人SLAM- 陳子沖）。以下為部分文字總結。

Project Tango 是從Google 的 Advanced Technology and Projects group (ATAP) 孵化出來的一個項目，誠如ATAP高級工程師Johnny Lee 所言，"We"re developing the hardware and software technologies to help everything and everyone understand precisely where they are, anywhere." Google為了是實現對設想功能的期許，從項目開始，Google就從硬體和軟體兩方面對Project Tango進行了精心的設計，雖然目前Tango僅僅支持若干款硬體設備，但也可以看出，Google希望通過Tango引領將來智能移動設備發展的一些標準。實際上，隨著若干家手機生產廠商支持tango的軟硬體標準，這一點也正在變成現實。

Tango強大在於它的其服務於環境感知的SDK，其核心是三大組件：

Motion Tracking

運動跟蹤，Tango通過自身的感測器感知自身的6自由度信息。這部分是三大組件的核心功能。具體上來講，tango使用視覺+慣性器件，實現了VIO（visual-inertial odometry）演算法，下面會進一步介紹。

Depth Perception

深度感知，主要是通過Tango搭載的深度感測器的原始數據生成點雲，服務於一些3D建模的應用。

Area Learning

區域建模，可以認為是在motion tracking 基礎上的一個增強。它可以將之前走過的路徑記錄下來，同時生成空間中的3D landmark，這些信息可以用於下一次開機之後的重定位。這個功能可以使用戶可以在已經建模好的地圖中定位自己，減小誤差。

下面進一步說說Tango SDK中最核心的motion tracking

Motion tracking的核心是 視覺慣性里程計（Visual-inertial Odometry，VIO），它通過視覺以及慣性信息獲得載體的空間六自由度位置和姿態。和單純的視覺里程計不同，VIO可以獲得載體運動以及環境的真實的尺度。這可以更好地位服務於對環境的感知。

具體來講，VIO融合對空間中視覺特徵以及慣性測量的觀測，來定位。上圖中綠色的就是tango提取的特徵點，VIO融合兩種感測器信息，解決尺度漂移的同時也估計了IMU的bias。

VIO演算法，大體可以分為兩類，一種是基於濾波器的演算法（主要是擴展卡爾曼濾波器EKF）；另一種是在一個sliding window 中做Bundle Adjustment的基於優化的方法。前者的效率較高，後者精度較高，但是需要更大的運算資源。

Tango的VIO運行時只有10% 左右的CPU佔用率，這也應該算是tango的黑科技之一。這一點，結合Tango運行時的一些log，可以斷定它使用了基於EKF的方法，同時想必做了很多優化。

Tango從發布伊始就可以看到它與幾個傳統的做VIO比較強的實驗室的合作。早期主要是UMN的MARS Lab，該實驗室是著名VIO演算法，MSCKF的誕生地。MSCKF演算法07年誕生，到12-14又有大幅的進展。

MARS實驗室的看家技術MSCKF非常類似於 tango的 motion tracking，在MARS實驗室的Youtube頻道上，有一個視頻似乎更加證實了Tango與MARS的關聯

該視頻以Project Tango為題，錄製於2013年4月。這段youtube視頻發布時間卻在整整一年後的2014年3月。恰巧的是，Project Tango首次對外宣布並公開展示demo的時間是2014年Q1。可以說，MARS Lab與Tango有很深的聯繫，該實驗室畢業的博士生也有不少加入Tango。

另一個，與Tango聯繫很多的是SLAM領域著名的ETH Zurich的ASL，該實驗室很多論文都可以看到Tango的身影，同時該實驗室的若干博士生也陸續加入Tango。

當然，為了使VIO演算法從實驗室走到產品中，Tango應該做了大量的努力。比如多感測器地標定，tango不僅需要標定各個感測器之間的相對位置關係，感測器之間的相對時間延遲也會標定出來。結合Tango在硬體上的時間同步的努力，使得Tango的VIO成為第一款正是用在面向普通用戶的產品。

下圖就是Tango使用UR的機械臂來自動標定樣機的場景。

不過，應該提到的是，VIO演算法想進一步從室內走到室外應用依然有很多問題需要克服，如室外亮度對比大；場景深度大，相機需要更大的解析度；室外溫度變化大，對IMU影響較大等。下圖為Tango在傍晚拍攝的一幅圖片，地面亮度遠低於天空。

綜上，Google為了實現Tango項目可以幫助用戶感知環境，使Tango可以應用於AR，VR遊戲以及機器人導航領域，可以說在硬體以及軟體上做了大量的努力和工作。它採用的演算法更是第一次讓普通消費者體驗到了之前一直深藏在實驗室中的VIO演算法的力量和魅力。雖然，Tango依然面臨很多問題，但可以看出它某種程度上正在引領移動手機的潮流。

說了這麼多感知演算法，如果對於Tango的硬體黑科技感興趣，可以參考：

Google Project Tango 有哪些黑科技？

從機器人的角度來說，很有可能。因為做機器人的自動控制，最薄弱的一個環節，也就是說相比其它環節，技術進步最慢的，往往是感測器，或者更準確的說，是感知環節，不光是感測器，而且包括感測器收集來的數據中如何提取『信息』。感知環節的技術一突破，機器人產業會有一個較大的跳躍，說不定在機器人行業能產生下一個Google、蘋果似的公司。

一點也不遠了，NASA已經用上了，過不了多少時間，國內新聞裡面應該就能看到了吧。
就是這個了，SPHERE

首先，什麼是SPHERE？

SPHERE是球體的意思，它還代表Synchronized Position Hold, Engage, Reorient, Experimental Satellites，同步定位執行測試衛星。用NASA的話說，這玩意不在空間站外工作，它將代替宇航員操作空間站內部的儀器。

NASA自己的介紹

SPHERE具有球形的外觀，工作時它將懸浮在艙內，並由二氧化碳氣體推進。每個機器人都是8英寸的直徑，有18個面，裝備12個推進器，通過超聲波、紅外感測器和無線電實現機器人自身定位。

這是2006年NASA送到國際空間的的SPHERES，他們可以進行精確的動作，但不具備其他功能。看起來炒雞好玩的樣子，大家有沒有想到星戰裡面那個能圍著人飛，並進行戰鬥的球星機器人呢。

然後，SPHERE為什麼要用Tango？

因為，我們NASA很窮啊！！！

這幾年國會給的宇航預算炒雞少啊，宇航項目有多燒錢，你們造么？

恨不得每一美刀都要掰開來用，好吧言歸正傳，再抱怨國會爸爸，說不準又砍預算，分分鐘教你重新做人，無法愉快的玩耍啊，233333~

在裝上Tango前，SPHERE就已經上過太空了，他們能做的就是在空間站里飛來飛去。花了這麼多錢，送了幾個玩具上去，好像不太好交差的樣子，可是項目預算已經燒得差不多了，再去研發個智能大腦也不夠錢了。

正在我們腦洞大開，想著怎麼給這些小東裝上通訊、拍照、處理能力和感測器的時候。正好Google那幫小子弄出了Tango這個東西，3D感應技術智能手機，實在太好了，拿過來直接用的節奏啊，我們NASA只要編個程就完事了。所以么，我們就直接拿來用了。還能跟國會說，我們NASA引進商業化技術，有效降低成本，滿滿的誠意啊！至於外形什麼的，你們不要太在意

話說，這樣子看起來也不是很違和，反而很屌的樣子啊！！！

======================================================

賣萌完了，說點正經的。

NASA希望給國際空間站配上大量的機器人，從事修理、運輸、搜尋物品的工作。上圖那些小傢伙，在寫下這篇文字的時候，已經乘著最新一班「天鵝座」飛船在飛往國際空間站的路上了。NASA還計劃開SPHERE的發艙外運行功能，目的是為了減小宇航員出倉作業的危險。

估計過不久，大家就能看到這個長著個手機臉的小東在空間站飛來飛去的新聞了。

本答案的來源：谷歌3D智能手機將飛向太空「輔佐」空間站上機器人

為何宇航助理機器人要用Tango做大腦？

之前看過PHAB2 Pro的一些演示視頻，很有意思的東西，可以產生很多有趣的應用和遊戲。

然後是萬惡的但是，這只是AR技術的初級嘗試，並沒有顛覆性的創新。

視覺處理只是機器人的一小部分。而且"最優秀的AI公司」是哪裡來的？據我所知現在還沒有公司敢稱自己為「最優秀的AI公司"。現在應用級別的AI技術主要還是上世紀80年代發明的東西。Google在這方面的技術還是要仰仗各大高校的研究成果...
簡單來說就是樓主你想多了，你想像中的那種機器人至少還有30-40年...
ATAP的老東家是MOTO跟機器人/AI半點關係沒有，所以出的這個東西主要還是消費產品的噱頭，和機器人沒多大關係。

剛拿到貨，試了一下。

缺點：
1.Tango本身的3D camera精度比不上Kinect v2
2. 涉及到GPU計算的應用功耗高，散熱不好，幾分鐘後平板燙手
3. 基於Android系統，很多3D應用達不到Realtime
4. 需要Android的開發環境，不方便直接做GPU演算法開發

優點：
SLAM結合陀螺儀的效果很好

結論：
個人認為Project Tango適用的場景有兩個：(1)室內機器人(2)室內場景大規模三維重建。但Google該項目組似乎想把Project Tango打造成下一代手機或者平板，作為獨立的VR或者AR產品。這比起HoloLens或者Oculus Rift，前景不容樂觀。

綜合而言，Project Tango難以達成它的使命（成為下一代手機/平板）。該項目組似乎人手有限，更新不積極，看來Project Tango也只能止步於一個實驗產品。不過如果做基於離線三維重建(structure from motion或者非實時的kinectFusion)或者機器人的研究，Project Tango不失為一個很好的工具。

Tango技術目前在移動端的應用：

「透視眼」逛博物館

在底特律藝術學院，參觀者可以藉助一部搭載Tango技術的手機查看到展出的埃及木乃伊內部結構以及其他展品細節。簡單來說，Tango會將掃描獲得的木乃伊石棺內部圖像疊加到手機拍攝畫面上，於是，隱藏在紗布最裡面的古埃及骷髏骨架和其他隱藏藝術文物就展現在我們面前。這就相當於你擁有了一雙透視眼。

▲底特律展廳通過Tango重現了古巴比倫伊斯塔門的原尺寸圖像，上面附有當時繪製的彩色畫作，展示古代美索不達米亞人的技術和工藝。（可惜知乎不能發gif）

足不出戶，精準買傢具

有一款叫做iStaging的Tango應用，可以讓你足不出戶選購傢具，並且可以通過3D模擬繪圖，將傢具虛擬地擺放到家中合適的位置，讓你預覽整體效果。這些傢具的AR呈現效果在空間感和大小比例上都非常出色，幾乎和在宜家逛樣板間沒什麼區別。

▲可以隨意調整虛擬傢具的擺放位置。

無處不在的遊戲戰地

《Crayola Color Blaste》這一遊戲和《Pokemon Go》有異曲同工之妙，不過後者是基於地理位置推進遊戲進度，而前者基於Tango技術，可以隨時隨處生成遊戲場景。簡單來說，任何時候打開遊戲，遊戲形象和畫面都可以與你當時所處的環境疊加，在家中、辦公室里與會吃掉顏色的殭屍搏鬥。感覺是把遊戲人物隨身攜帶一樣。

▲客廳成了遊戲的戰地。

這這這這不是我們公司做的嘛！早知道早就來搜這個問題了。。。
先佔坑下班再來。。丟個圖。。

人工智慧是一個體系化的技術，這個東西可以看作是機器大腦的感知延伸，但是和機器人目前關係不大。目前更多時候是利於偷偷搜集用戶的數據進行各種大數據分析進而推進各類數據建模。

Project tango，我覺得谷歌是想把它用在AR上面的，而且已經進入了較深的階段，只不過還沒有弄成微軟的AR那麼炫，所以沒有公布具體的吧。
但是我覺得project tango用在室內機器人場景重建識別上會比較實用，起碼可以做些實用的機器人出來，比如說全能型家務機器人，這才是我們需要的，我們也會慢慢老去，不要等到時動不了才後悔，養老靠自己。