如何評價 Microsoft HoloLens 這款產品?

視頻:Microsoft HoloLens


引用宣傳視頻裡面的一句話:
It was science fiction,M$ brings it into science fact.

===========
一月23日零點更新了關於發布時間,硬體實現,HoloLens與全息對比的一些內容。

看完以後第一時間真的很震撼。冷靜下來以後仔細推敲了一下技術。看法是,時勢造英雄的震撼產品。就像之前對google glass的幻想一樣。我之前玩過Oculus,寫過LeapMotion的API,折騰過Kinect的Point Cloud,對這倆「虛擬現實」產品都感到大失所望,而HoloLens正是我想要的。

hololens所實現的效果並不是微軟一家的創新,他早已流傳在種種科幻電影中。

但能做到hololens所需要的程度是一個極其複雜的工程。

HoloLens是一個Oculus+Kinect+Jetson TK1所集成起來的夾在鼻樑上的嵌入式怪物。

腦補一下把Kinect帶到頭上的情景

但是微軟做到了!
首先給沒有看宣傳視頻的孩子介紹下HoloLens吧,HoloLens是一個基於深度攝像頭,高性能處理器和雙屏幕顯示的進階版Glass
長這個樣子

具體參見微軟官網Microsoft HoloLens

根據我目前看到的信息,hololens需要技術支持的包括三個部分。

  • 實時的三維計算

這裡是遊戲屆玩爛的東西,可以說在阿凡達之後拉開了一個時代的幕布,經過NVIDIA,Intel等的苦心經營,實時的雙攝像頭渲染已經很成熟。而微軟終於把這種技術推向了更廣的領域。這種效果在也就是現在是遊戲級別的水平。

  • 精準的姿態確定和位置確定。

根據網上流傳的minecraft+hololens,可以肯定微軟採用了基於深度識別的SLAM(實時定位與地圖構建)技術。這裡的準確度對於最後的顯示效果非常重要。姿態確定這都不是事兒。幾十塊的電容式陀螺儀或者幾百塊的MEMS抄幾段代碼就好,怎麼確定位置就是微軟的功力了。當然深度攝像頭這種事情微軟常年吊打整個行業,Kinect快成行業標準了(幫助了多少論文發表)。想想我們用的激光雷達的價格。哭了。

這裡解釋一下什麼是SLAM,就是通過感測器獲取環境的有限信息,比如視覺信息,深度信息(Kinect),還有自身的加速度,角速度等來確定自己的相對或者絕對位置,並且完成對於地圖的構建。

一個典型是電影《普羅米修斯》的中的探測器,使用一個激光雷達(以及內置姿態感測器)進行構建的小型探測器。

和生成的三維地圖

就是這張圖把我引入了小型無人機的大坑。電影中,使用小型探測器掃描出來了隧道全景並且全息呈現了出來。

對應到現實《普羅米修斯》裡面用的是這種玩意

人民幣價值相當於一輛低配的奧迪A8。可以發射幾十束激光同時掃描。而Google無人車上面也用到了這種激光雷達來進行實時的路況分析。

對比微軟做到的

這可是實現了三年前科幻電影的效果啊!

注意這張圖,M$暗示進入一個房間之前要先進行掃描,這裡明顯是在用Deep Camera生成Point Cloud然後三角面片進行SLAM(我實驗室的某個師兄在微軟實習的時候,做的畢業設計也是這個玩意,微軟對這個技術積累很強的)。如果確定是和Kinect類似的紅外攝像頭,那麼可以認為kinect有的毛病他都會有。比如對於黑色物體,光滑表面的探測啊。

微軟在Kinect使用的是紅外線來進行深度探測。

可以說,HoloLens的核心難度是深度探測和相關的手勢識別,對於微軟來說這是其專長了,所以HoloLens是一個帶到了鼻樑上的Kinect。


為什麼說SLAM對於HoloLens非常重要呢?因為只有實現了靠譜的SLAM,才能知道眼鏡的空間坐標和相對於室內各種障礙物的位置,同時識別出各種室內擺件的形狀,這是宣傳片中人機交互的基礎。


畢竟業界的主流方案就那麼幾種,微軟大概不可能像 @楊碩 兄造DJI Inspire 1那樣用光流感測器。

這種圖在出現的時候主人公一直在走動

而畫面的穩定性很好注意這裡

可以看到對於各個表面的貼合度已經達到了SLAM的程度

  • 圖像識別技術

對於手指,牆面的識別都要靠它。

這裡注意到一個細節,展示在三維空間中的UI很像是Autodesk Fusion的UI,難道自動桌已經先行一步?

來自官網的一張圖片,可以看到使用的正是Autodesk

作為半個工程師,我當時買Leap Motion就是為了玩Solidworks Fusion,現在有了HoloLens這種玩意,比Fusion體驗不知道酸爽多少倍。腦部一下去參觀EAST的時候眼睛裡顯示出EAST剖面的情景。太震撼。

這三個技術在近些年的成熟造就了hololens的產品化。之前我對購買google glass的設想與此類似。Hololens把它推向了現實。

其實hololens所實現的效果並不是新鮮貨,早在冷戰末期,武裝直升機飛行員就通過頭盔裡面的信息來操作機槍所瞄準的方向。這兩年我軍也有裝備。

當年su35的「回馬槍」向後發射的導彈就是用尾椎雷達和頭盔瞄準具實現的。

更進一步是這貨用的這種

現在M$讓大家都用得到。

另外,根據對hololens的技術分析,hololens可能會有如下一系列困難

第一,是耗電量。計算視覺和slam,再反過來進行三維虛擬現實是一個非常耗費計算量的任務。之所以說微軟是時勢造英雄,因為這種計算量在二十年前可是阿拉莫斯實驗室用於核聚變模擬的計算量。現在只要耗電量跟的上,NVIDIA的Tegra K1還有Intel家的協處理器在嵌入式上飆計算量沒問題。

我本來以為微軟可能會引入一部分專用硬體加速,根據本問題里的某個微軟員工的回答,他們引入了ASIC(專用集成電路)進行計算視覺。這也正常,Intel都發布了deep learning專用的晶元了。

第二,是在開放環境,欠光線環境的識別度問題。對此我持保守態度。需要拿到產品再說。

第三,是定位精準度問題。這是老大難問題了。

另一方面,這種配合將成為很長一段時間內的主流。

如果修的不是自來水管,而是血管,看到的是通過B超技術實時掃描出來的人體內部,那麼未來的醫院會是怎麼樣的。如果顯示的不是自來水管的manual而是實時匹配無人機的爆炸視圖,那麼以後的工廠和DIY是怎麼樣的。讓人難以想像的是,這一切居然是真的!

微軟研究院養了那麼多閑人真的不是白養的。目前來看微軟在這些技術上解決的都非常好。另外十分看好HoloLens+無人機的交互。拿到貨以後我要做的第一件事情就是把我們的無人機系統移植上去。這畫面太美。我簡直不敢想。

還有多系統配合,這是像iPhone可以推動21世紀歷史進程的玩意。

買買買!
===================

根據官網的時間線,Attend Build from April 29–May 1, 2015. 五個月以後可以看到真貨。
==========================
另外是質疑性能的人很多,但是就現場演示視頻來說,HoloLens已經到了堪用的地步,對於一個跨時代的產品來說,這就夠了。第一代產品必然是「好看而無用」的。但是前景在那裡放著。

===================

另外是,估計Google也會有大動作,相關技術大部分有開源實現(包括廉價的深度攝像頭),估計很快會有公司扛包出現類似設備的開源硬體和軟體,市場一刺激華強北也不會安分,投資空間有多大各位手裡有錢的掂量掂量吧。參見iPhone引發的歷史軌跡。

另外是,全息估計不會成為主流發展方向了。

有人問為什麼,這裡我對比解釋一下全息好了,所謂全息是指記錄光信息的時候不僅僅紀錄頻率-振幅信息,還記錄了相位信息。
這裡要提一下惠更斯原理的概念

光是一種電磁波,也就是說,如果我想模擬一個物體看起來在那裡的樣子(全息),我可以在我和虛擬的物體之間放一個屏幕,計算出來波面上每一點的相位。按照物體應該有的樣子原封不動的發送電磁波。

全息的問題有二,第一是計算量巨大,相比於使用HoloLens的方式實現虛擬現實,全息需要計算空間中的波陣面(根據我某個小夥伴冬霜君的研究,一個勉強能看的全息效果計算量大約相當於一塊GTX TITAN),第二是轉化過程複雜,需要一種叫做聲光轉化器的東西來給定相位。起實現原理和另一個東西相似

這個東西叫做相控陣雷達,利用了惠更斯原理來實現雷達波迅速的方向切換,是國之重器。如圖是法國陣風達索公司戰鬥機所裝備的RBE-2雷達。

相控陣雷達的實現有很多,有使用可調參數的高頻移相器的,有使用直接數字合成技術的。難道非常之高。是現代戰鬥機的一項關鍵技術。

學過中學物理的人應該都聽過波粒二象性全息和現在的三維渲染相比,前者是考慮了光的波動性,後者僅僅考慮了光的粒子性。從計算上來說,前者複雜了一個維度。

相當於前者是波動方程的解 ACos(omega t),後者僅僅是考慮振幅的衰減即可。

換句話說,用HoloLens的方式,我們只需要計算物體相對於兩個攝像頭的三維效果,送給兩個眼睛即可,不需要處理複雜的相位信息,無論是光柵或者ray track做渲染。計算量比全息小了一個維度,相當於電腦雙開三維遊戲。

所以說,全息更像是設備無法小型化年代對於未來的一種暢想。

還有,這個東西進入中國以後,廣電會不會要求接入都要審批(顯然會搶電視機的飯碗),我們拭目以待。

==================================
轉載的時候請註明 「徐浩,科大物理在讀,blog.xuhao1.me」。商業性轉載請私信通知我。
==============================
利益相關,果粉,微軟黑轉粉


補充答案來了,上手測評。

翻了下,沒有人發the verge的報道。上手體驗什麼的最棒了~~~~~~~~

倆人的粗略翻譯,渣水平,見諒。

不過記者親身體驗設備,解答了大部分完全沒有看發布會純粹根據國內部分媒體報道猜想出來的答案。

簡單匯總就是:

1.毫無延遲

2.毫無違和感

3.搭配有holoLens studio生產力套件,準備好錢包吧

4.沉浸感十足

5.上手快。

6.總共有4種交互方式。


下面是正文:

歡迎來到全息時代


微軟HoloLens

http://www.theverge.com/2015/1/21/7868251/microsoft-hololens-hologram-hands-on-experience


作者:Dieter Bohn and Tom Warren

我們剛剛完整體驗了包含大量腳本、仔細組織管理以及完成度驚人的微軟HoloLens示範。對於Demo來說,事實上,它每一個都向我們展示了HoloLens在不同的應用場景如果把虛擬全息圖像帶入現實中。

我們在咖啡桌上玩了Minecraft。

我們在他人的幫助下修復了頂上的燈泡開關。

我們在火星上行走。

你可能注意到了,這片文章沒有任何突破,那是因為在我們進入HoloLens小組測試體驗區之前,被要求寄存所有相機和手機。不允許任何記錄設備進入,甚至錄音都不行。我們進入之前一直在嘲笑這個政策,很多記者都是帶筆記本直接記錄,連筆都梅伊歐帶。

但是,這一切都值得,因為HoloLens是自從Oculus Rift.以來,我們體驗過最為吸引人的科技產品(或者說最令人心癢的)。當然,這裡跟Oculus Rift.比有很多相似的地方:都有沉浸式體驗,但是卻是完全不同的手段;當你戴上產品後都會讓別人感覺你像一個傻子。更重要的是,都需要去想一下怎麼去跟虛擬的物體交互。

Minecraft IRL

Dieter Bohn

目前為止,最最令我印象深刻合我心意的DEMO就是Minecraft了——雖然微軟叫他「堆房子」之類的爛名字,可能是因為還沒有做出完整版的全息Minecraft吧。但是當我們可以進入這個虛擬世界之前——事實上,是虛擬進入我們的世界——我們需要戴上為HoloLens準備的開發裝置。


HoloLens玩minecraft


這絕對是一個超級巧妙地設計。這一個小巧,當你動脖子的時候會感到微重,裡面包含了所有計算機擁有的功能。它包括了很多的組件比如投影設備、運動感應器還有揚聲器之類的東西(反正就是發聲的),上帝知道這裡面還有什麼新奇的東西。之後,你的視野里就會出現一個屏幕。

(模型們)就坐在那裡,就那麼完美的漂浮在桌面上,隨著你的頭部移動同步交互。

「就跟你的視野一樣的屏幕」是對HoloLens的最佳形容。他是沉浸式的,但又不是那種沉浸到沒有現實的東西。你依然能看到虛擬物體和背後真實世界之間的物件;你能看到虛擬全息的世界就在你的視界外消失。

但是當你開始想抱怨說「我早就體驗過VR了」之時,你低頭往咖啡桌上一看,卧槽,一個城堡就這麼好好乖乖的坐在咖啡桌上。它不是那種亮晶晶很假的東西,也不是過分真實的物體。但是他就那麼坐在那裡,完美的漂浮在桌面紙上,跟隨你的頭部移動做出相應的交互。一切如此的真實,而且沒有任何的延遲!城堡就在那裡,這簡直就是魔法。


HoloLens改變家庭生活演示


此刻你的臉上一定露出傻逼一般的笑容雖然這個設備有一點壓到你的框架眼鏡,鼻子有點難受。

這就是演示的內容。不允許你觸碰任何東西,但是你可以通過移動身體頭部來觀察物體的每一個部分。然後你明白了「一瞥」的意思就是你隨著視線看一眼物體;「隔空操作」就是相當於點擊滑鼠。這個DEMO還包括在Minecraft裡面挖洞,用TNT毀掉殭屍等內容。真的令人難以置信,當所有這些場景都變成現實中的東西。

你炸一個洞,然後看到地板上有個洞,透過地板上這個洞,你看到更多的東西。你又在牆上炸了一個洞,然後小蝙蝠們從牆裡飛出來,然後透過牆你看到裡面是一個充滿岩漿和滾石的地獄。然後你又瞥了瞥角落裡的洞,透過洞你發現更加黑暗的領域,視野擴展到太空深處。

然後,DEMO is Over。

Skype

Tom Warren

對我來說Skype的演示和在互動房間里堆Minecraft方塊同樣令人印象深刻。在經過兩小時的發布會之後,微軟竟然要我去修燈泡開關!這一切要從我走進去,然後坐下來面對一堆工具和裸漏的電線說起。正當我感到迷茫困惑的時候,我抬眼看skype的標誌,突然眼前蹦出來skype的視頻通話。視頻通話是以小窗口的形式彈出的,我的修燈泡開關之旅開始啦。

在電話的另一頭是微軟的工程師。我可以看到聽到她,但是她只能聽到我說的話以及看到我眼睛裡看到的東西。而我的眼睛,或者說頭上的設備,將一切通過skype直播出去。這是HoloLens另一種使用場景,幫助解決現實問題——在這裡他幫我修燈泡。電工之旅開始,我把她的畫面擺放到燈泡旁邊。然後我觀察了一下房間的環境,重新看她。她開始指導我怎麼做。你知道,這整件事情自然到令人詭異的地步,我甚至都來不及去想是不是要學習一下怎麼交互,什麼叫「隔空操作」,一切都是如此的自然。

聽起來很神奇,對吧,但是這東西沉浸感真的很強!

當我正想說我們是不是需要一些現實世界裡的東西來完成這個操作的時候,微軟的工程師叫我把注意力集中在牆上的布線,然後她畫了一個位置,那裡是燈泡開關的地方。現在你看著這些文字,覺得很超現實,但是在整個DEMO過程中無比的自然,我根本沒有想過這件事——這一切就好像我在被一個老友邊說邊解釋怎麼做。我們把布線接起來,測試電有沒有通,然後打開電力中心,打開開關,燈亮了。所有的問題都修好的,而這一切是有一個瘋狂的頭戴設備完成的,通過skype一起虛擬影像問題輕鬆搞定。聽起來很不可思議對吧,但是這個東西真的沉浸感很強。我也在家通過youtube搜索修車視頻,但是這完全是兩種不同的體驗。想像一下,如果一個外科醫生通過它完成一個緊急手術,通過skype和虛擬現實,通過遠程實時指導同事完成一台手術會是怎樣的?想像通過客戶服務電話,遠程修復你的電腦。如果未來實體機跟微軟的DEMO效果一致,那麼這將永遠改變我們未來交流學習的方式。

Holo Studio

Dieter Bohn

微軟的這個demo並沒有讓我們直接使用HoloLens來操作。相應的,我們看到了「nick」(關於這一點,我問過微軟,初期名字暫未確定)在虛擬空間里操縱物體,所以他可以創造一隻考拉或者小型貨車。這確實令人難以置信,當攝像機拍攝到他,屏幕上同時顯示alex和他正在操作的虛擬物體,在真實時間裡處在同一個空間里。

這個展示向我們演示了HoloLens可以釋放創造者的潛能,而你根本不需要訓練就可以完成夢寐以求的3d物體。這樣理解起來容易得多,畢竟這個物體在你的起居室里,而不是在AutoCAD里。

但是坐在那裡,經過我們一陣忙亂的體驗之後,我的思緒飛到了別處。例如,目前為止僅有以下這些與系統交互的方式:

瀏覽:把視線定位在某個東西上。

空中點擊:伸出一根指頭,然後向下移動手指,就像敲擊手柄一樣。

聲音:你可以發出命令,經常用來切換正在使用的工具。

滑鼠:事實上最好的是你使用電腦交互的物體同樣可以用Hologram交互。

這看起來已經足夠了,但是還是並不夠。這些物體就像真的在你的起居室里,這令人瘋狂的震撼,但是當你知道你不能像對待真正存在的物體一樣對待他們時,這同樣讓人詛喪。

在Demo中的一個片段,Alex需要給貨車安上輪胎。他不得不扭著身體和頭,讓捕捉點剛好在正確的焦點上,然後把輪胎剛好安裝在輪軸上。然後,空中點擊!輪胎就被連接上了。但是如果能用你真實的雙手,抓住輪胎會有多麼容易呢?

用自己的雙手,抓住輪胎或者貨車又會有多麼容易呢?

我們的雙手很顯然比我們的脖子靈巧得多。你可以精巧的控制小動作,你可以用如此多不同的方式和載體活動手指,壓力、細微的差異和精巧的手工等等。你的脖子和頭遜多了。

但是微軟給了我們一些3D列印的考拉,列印的文件直接存在U盤裡。當HoloLens正式發售,你就可以設計自己的物體,這比學習目前3D設計軟體容易多了。但是比起來,用holograms設計想像的物體會更容易。

行走在火星

By Tom Warren

微軟已經和NASA合作,讓科學家研究好奇號在火星上看到的一切。不同於電腦屏幕上的全景圖像,微軟的Demo激活一個房間,把他變成火星。這些讓好奇者流浪號顛簸的岩石地貌就在我的周圍,就這樣稀鬆平常的檢查一個我這輩子永遠不會造訪的星球。儘管視野有點局限,不能讓我真正的沉浸,也不能讓我的大腦欺騙自己我就在另一個星球上,但是深深震撼我的是微軟為了這場體驗做了什麼。

演示中,我和一名NASA工程師通話,他就在那一堆地貌中和我交談。我蹲下來更進一步的觀察那些岩石,給不同的岩石形態拍照,甚至給感興趣的地方做了標記。當我冒險結束返回房間的電腦,開始用滑鼠做實驗的時候,我被震驚了。我用滑鼠在屏幕上挪動,突然間滑鼠就到了我旁邊的地板上,讓我在這個虛擬的環境中標記。這就是我之前從微軟研究室的演示看到的一切,但在這裡它就在我的大腦里,就是我的工作。

合作部分的關鍵就在這裡,允許我用獨一無二的方式和數據交互,而且通過NASA工程師在火星上標記的旗子,引導我去觀察特定的區域。雖然這不是滑鼠和鍵盤的傳統生產力,但這確實新穎有趣。我能預見到這種場景工作模式,正是為那些需要跨時區溝通和大量複雜數據的大型團隊準備的。

總之,HoloLens正是微軟最有野心的所在。這是一個關於電腦的未來, Windows的未來,還有最終微軟自身未來的巨大賭注。儘管微軟還在手機業務上苦苦掙扎,它仍想要引領並抓住計算機的下一次浪潮。HoloLens是下一次計算機浪潮么?開發者和消費者將是最終的測試,但是不管怎樣HoloLens都是微軟難以置信的勇氣和令人印象深刻的項目。這是真正的革新,這是微軟在一直執著保護Windows期間所缺乏的東西。

而這個產品最大的亮點在於:將產品從複雜的技術里提取出來,讓用戶體驗真正的科技帶給生活的巨大變化。


還記得當年遊戲《暴雨》里的Norman Jayden么?還記得他那幅眼鏡么?遊戲里還必須要搭配手套,這連手套都省了。

微軟竟然把無數小說、電影、遊戲裡面的東西,變成了現實。

激動之心,難以言表(自行腦補一萬字)


微軟全息眼鏡HoloLens將帶領人類進入新紀元


很久沒有心情澎湃到提筆寫一篇技術評論,直到看了微軟的全息眼鏡HoloLens原型發布。這兩天科技相關的微博、朋友圈已經討論瘋了。


本文不涉及討論任何技術細節和實現方式,只是分析這樣的產品的趨勢和意義。有人說,HoloLens標誌著微軟的重生;有人說HoloLens是蘋果手機之後的又一偉大發明。這些都沒錯,但我想說的是,這樣的評論,並不足以表達HoloLens的革命性與顛覆性,HoloLens如果成功面世,將帶領人類進入新紀元。


對於信息技術的紀元劃分,我是以大眾能夠使用的終端來區隔的,一句話來說,就是「個人電腦(PC)」-&>「智能手機(Smart Phone,往下簡稱Phone)」-&>「全息眼鏡(HoloGram Glass,往下簡稱Glass)」。這裡的全息眼鏡就是微軟現在宣傳片里這種蓋住眼睛,既能夠看真實世界又能夠疊加虛擬信息的設備,並且順便也可以提供一個mic和小喇叭實現聲音的交互。


PC的意義不言而喻,Phone的顛覆性意義我們也已經看到了。相對於PC,有兩個本質的優點:1,更便攜,隨時可以使用,隨時讓人聯網;2,更貼近真實的交互方式,PC主要是依靠鍵盤和滑鼠,而Phone不僅是觸摸屏更接近人的使用天性,且便於將真實世界的語音與圖片、視頻作為輸入信息。


為什麼Phone之後是Glass呢?Glass比Phone更便捷、更貼近真實的交互方式。Google團隊內的分享也明確提出,Google做眼鏡的基本使命也是要取代手機,通過眼鏡能夠解放手與眼睛(不像手機需要使用的時候還需要用手握著戳著,以及不用低頭看屏幕錯過其他信息-比如走路掉坑裡)。只是Google欲速不達,做了太多的妥協。Google眼鏡最大的問題是人眼看微型屏幕與真實世界是分離的,只是掛在臉上的手機而已,不僅屏幕小清晰度差,還得挑起眉毛來斜眼看,多看幾眼就會感覺疲憊。而如果疊加,不僅是成本貴很多,而且如何疊加得合理,就涉及到複雜得多得多的技術體系。這方面體現了微軟的霸氣以及不妥協的精神,一步做到現實增強。


更關鍵的是,基於微軟多年的技術積累和發展,這個HoloLens確實做到了對真實世界場景與自然手勢的跟蹤、理解與建模,以及對虛擬世界的實時繪製與疊加(至少是目標)。這一步一旦實現,便是對Phone的核心能力的顛覆。如下表展示了PC/Phone/Glass的能力區別。

對於Glass,最大的困境不是 「缺點」而是「難點」,但我相信這些難點隨著材料科學的發展、計算能力的提升早晚會突破並趨近完美的,故「偏心」地不因當下這些難點扣分。


做這麼多看似顯而易見的關鍵能力分析,目的是想從一個視角來闡述一個理念:全息眼鏡會成為類似手機一樣普通消費者人手一部的產品,而不只是在垂直領域中(比如給警察、設計師、工程師)大放異彩。因為Glass能在關鍵能力上壓倒Phone,如同Phone能在同樣的關鍵能力上壓倒PC一樣出色,Phone能因為這些核心變化取代PC, Glass會取代Phone。非要讓我舉例說明什麼應用是每個人都必須要依靠Glass而不是Phone能夠完成的,我現在想不出來有信服力的答案,但是我相信這樣的核心變化。微軟在宣傳片中也以一種世界觀的方式來洗腦:「Because when you change the way you see the world, you can change the world you see.」,這句話很受用,點出了HoloLens帶來的本質性變化。如果技術能夠兌現,人人都享受「Transform the world(HoloLens的Slogan)」,也就是一個新紀元的到來。


除了對核心能力的對比分析,不免聯想了更多的事情一併說說:


零.微軟把該產品取名HoloLens很雞賊

Holo-是全息的詞頭(Hologram, Holography),Lens是鏡片的意思。我想如果微軟把這個產品叫做HoloGlass容易被罵跟風Google沒創意,但是叫做Lens就高級很多了。Glasses是框架眼鏡,contact lens是隱形眼鏡。往遠里想,如果技術再進步,萬一這個設備真有可能做得比眼鏡還要小,就成了一隱形眼鏡兩薄片了呢?那麼HoloLens這個名字就很貼切了。所以說Google很實誠,知道短期做不小,就老老實實叫做glass,微軟志向更遠大,也更會忽悠,真有那一天就賺到了。


一.Glass會是穿戴式設備之王

Phone之後,一個技術的熱點趨勢便是穿戴式設備,這個可以做到比手機更便攜,更豐富的交互方式(比如能持續地採集手機採集不到的數據)。有預期到2020年,穿戴式設備的技術將會大量成熟並成為手機之外的智能輔助設備。而在這些穿戴式設備中,其他設備只是處於配角來輔助手機,而Glass才有超越手機的交互信息獲取優勢。搜狗自身沒能夠做Glass,也認為自身能力不足以和市面上的手機廠商競爭,所以發展「糖貓」這麼一款兒童智能手錶,這部分人群都沒有手機,就不存在這個競爭了。


二.大公司依然有創新的機會

曾經越來越認為大公司缺乏活力,創新的主體會是創業公司。從微軟的這個案例看,有一些高精尖的創新,從人力到財力上,都不是小公司能承擔的。微軟說,為了搞HoloLens這玩意兒,投入了「thousands」的各種人才,秘密研發,把這些人的青春都搭進去了。ATT的貝爾實驗室,曾經做出了很多偉大的創新來,也是大公司實現創新的證明。所以在一些創新領域,大公司任然是創新的主體,並且要做成了就是大成。曾經我們有「小公司自卑心」,覺得面對大公司很艱難,現在也要破解「大公司自卑心」。


三.什麼東西能再次顛覆微信

我們都沒有想到,在通用SNS領域,會有微信殺出來比肩QQ。當然現在就會有推測,什麼東西還能夠再來顛覆微信呢?我之前的一個論斷是:PC誕生了QQ,手機誕生了微信,要想再有一個類似的偉大SNS產品,那就不能依賴於PC或者手機,得是有新的終端載體,目前看,全息眼鏡上的應用會是一個機會,當然,以騰訊的基因可能這個機會還是歸他。


四.如何在全息眼鏡上創業

現在提這個話題還有點早,這產品成熟可能還需要5年左右的時間。更不幸的是,我曾經翻過一下微軟的Kinect編程入門,看起來還是蠻複雜的,這個HoloLens後面的編程框架,相對Kinect只會更複雜,要做出好的應用來,就不只是簡單的「跪求iOS/安卓開發工程師」這麼簡單了。


五.HoloLens真能做成么

這個事情我也各種擔憂。微軟是否能夠把這東西做到實用是一個問號,能實用了怎麼開放給產業共同研發生產做大蛋糕也是一個問號。但是即便HoloLens不成,也會是指明了一條道路,有新的公司來前仆後繼完成這個事業。所以我說是「微軟眼鏡帶領人類進入新紀元」,發揮了指引的作用也算是「帶領」。


六.全息眼鏡之後是什麼

已經用設備蓋住了你的眼鏡和耳朵還不夠?那隻能再深入一點插入大腦了。

答案是:Matrix。


非常感謝@柳翰文恆,通過他的回答,我看到了wired對HoloLens的獨家上手體驗的文章。我嘗試著把它翻譯過來,疏漏之處,還請賜教。希望通過這篇文章,讓大家對這款產品有更深刻的認識,並了解這款產品背後的一些故事。說實話,在翻譯的過程中,kipman七年如一日的專註還是蠻讓我感動的,希望這款設備能夠越走越好,成為改變人類社會的又一個里程碑。

網址:http://www.wired.com/2015/01/microsoft-hands-on/

**************************************************************************************************************

現在是十月底,華盛頓Redmond的 白晝已經變短,滂沱大雨也開始停下來。再過幾個月,微軟將公布近年來最具野心的產品—一個名為HoloLens項目的頭盔式全息計算設備。但是這時候,甚至大部分微軟內部的員工都還沒有聽說過這個項目。我穿過微軟C工作室的巨大中庭去會見這個項目的主創,Alex Kipman.

這個頭戴式設備仍是一個在持續開發的原型,其代號為Baraboo項目,有時候直接稱之為B。
長發到肩,留著參差劉海的Kipman有些緊張。說他緊張,是因為他已經為這款全息設備工作了五年。不,應該是更長時間。7年,如果從他向微軟第一次提出這個設想,(後來變成了Kinect)。當體感遊戲機Xbox發布的時候,僅僅在2010年的假期里,它就成為史上最熱銷的遊戲設備。

一開始,他就向我表明Baraboo將使Kinect變成一個小眾產品。

Kipman領我到一個接待室,這個房間里有個下拉屏幕,一個豪華的長沙發和一個存有酒與汽水的吧台(我們沒喝)。他坐到我的旁邊,然後又站起來,走了幾步,又坐了下來。過了好一會兒,他開始給我簡要介紹關於計算的歷史,濃密而又極具表現力的眉毛以及一雙眼睛都在隨著他整段整段地敘述而變大。他解釋說,這不是關於原先的數字世界的,「它是關於模擬世界的,」他說,「在模擬世界裡,具有完全不同的規則。」

翻譯過來就是:過去你在屏幕上進行計算,用鍵盤輸入指令。網路空間在別處。計算機處理那些將命令轉化成詳細的程序。在不久的將來,你可以在物理世界中計算,通過聲音和手勢去獲取數據並把它們放到物理實體的表面。計算機程序將可以吸收大量的數據,它們可以處理更加複雜和細微狀況。網路將會無時無刻不在你的周圍。

這個東西長什麼樣?holograms。

第一印象

當我第一次看到Baraboo,Kipman給我看了一段概念視頻,這個視頻里,一個年輕的女士穿著青灰色的頭盔式設備遊走在一連串不同的場景中。這些場景從一個電話會議與同事協同工作到Oculus式的在金門大橋上翱翔
。我觀看這個視頻,同時,Kipman看著我,與此同時,微軟的公共關係主管在看著Kipman。這個視頻非常酷,但是我已經在很多科幻電影中看過,這讓我不相信這個視頻是真的。我想親自體驗下真正的設備。接著Kipman把一個箱子拿到了沙發上。他小心地把它拿了出來。他說:「給你看的第一個玩具。」他把它遞給我拿著。「這才是真正的工業設計。」

哦,Baraboo!它比谷歌眼鏡要更大更厚實一些,但沒有Oculus Rift那麼四四方方。如果我是一個愛下結論的女人,我可能會說它看起來像是Magic Leap做的。Magic Leap是一家谷歌支持的增強現實的初創公司,現有資金5.92億美元。但是其至今還沒有發布他們的產品。然而微軟已經計劃在春季將HoloLens交到開發者手中。(更多關於微軟和CEO Satya Nadella對HoloLens的計劃,參見WIRED二月的封面文章)。

Kipman的原型令人感到驚訝。它放大了Kinect中引入的特殊電源,但僅使用了一小部分的能量。深度攝像頭具有120*120度的視角—--遠遠超過原來的Kinect,因此他可以檢測到你的手在做什麼,甚至當你的手幾乎伸展開來都能感應到。感測器給設備帶來每秒T位元組的海量數據,所有這些數據都通過內部的CPU,GPU和一個史無前例的HPU(全息處理器)來處理。然而,Kipman指出,在你的頭上,設備並沒有發熱,熱量通過邊緣散發出去了。在右邊,有按鍵來控制音量和全息圖像的對比度。

欺騙你的大腦

LoloLens的主要成就---逼真的全息投影—它的工作原理是欺騙你的大腦讓其誤以為看到的光就是實實在在的物質。「從根本上來說,你知道的,你能觀察這個世界是因為光,」Kipman解釋道,「如果我能有魔力打開大自然的調試器,那麼我們就可以看到光子在這個世界上跳動。最終,它們打到我們的眼睛裡,穿過眼睛。你推論世界是什麼樣的,本質上你只是幻想了這個世界,或者說,你所看到,只是你的大腦想讓你看到的。」

為了創造HoloLens的圖像,光粒子在設備里一個叫做光引擎的構件里跳躍上百萬次。然後這些光子進入HoloLens的兩個透鏡中,這裡,它們在藍色,綠色和紅色的玻璃鏡片層中跳轉,然後進入眼睛中。「當你以精確的角度捕獲光線時,」Kipman告訴我,「魔法就開始了。」

三十分鐘後,在我們看了另外一個原型和更多的概念視頻,並且討論了開發者的重要性後(時至今日,你必須要在發起一個新產品時強調開發者的重要性),我開始去體驗這個魔法。

Kipman帶我穿過一個院子和一棟大樓的側門。大樓內部建有秘密地下實驗室,每個房間都裝備成一個場景來測試HoloLens。

一次快速的火星之旅

第一個看似很簡單。我進入了一個臨時的卧室,電線在牆上的洞里漏出來,這裡原先應該有個開關。在開關下面的West Elm公司的餐具柜上散落著各種工具。Kipman給我一個HoloLens原型並且告訴我安裝開關。在我帶上設備後,一個電工出現在我的屏幕上,正好漂浮在我的正前方。我可以通過一個快速手勢使屏幕停靠在電線的左邊。這個電工可以完整地看到我所能看到的。他圍繞著餐具柜上的電壓表周圍畫了一個全息的圓圈並指示我用它來測試電線是否有電。當測試結果表明電線沒電時,他就把我帶入安裝開關的進程中。他通過在牆上畫全息箭頭和框圖來教我如何安裝。五分鐘後,我撥動開關,整個卧室的燈亮了。

另一個場景讓我登陸在一個虛擬的火星上。Kipman與NASA的火箭科學家緊密合作開發了這個場景。Jeff Norris,花了2014年上半年的大部分時間奔波於西雅圖和他在南加利福尼亞的家來幫助開發這個場景。通過一個快速的向上的手勢,我觸發了計算機屏幕上監控的好奇號火星車的程序,開始了在這個星球上的虛擬之旅。地面上極度焦熱,灰塵布滿砂岩。這場景太逼真了,以致我跨出一步時,我的雙腿都在顫抖,真令人難以置信。在我身後,火星車7尺高,它的金屬手臂像一個觸手一樣伸展出來。明亮的陽光灑在火星車上,在它的支架後面留下一條短短的陰影。

虛擬的Norris也加入進來,看起來是一個3D的金色人形。(實際上,他正在隔壁的房間里)。一個點狀的線從他的眼睛一直延伸到他所看的東西。「查看一下」,他說,我蹲下來查看一塊石頭。通過一個用右手向上的手勢,我划出了一列控制菜單。我選擇三個選項中的中間一個,它投射出一個小旗子,理論上,這是一個提示火星車收集沉積物的信號。

探索火星之後,我不想把設備摘下來了。它通過計算工具的結合,創造出難以置信虛擬現實效果。NASA同樣有此感覺。Norris將在這個夏季發布HoloLens以便機構的科學家可以用它來協同工作。

前路仍然漫長

Kipman的聲音最終把我帶回到了Redmond。當我摘下設備,他提醒我,對這個工程來講,現在為時尚早。成為一個假期的暢銷品並不是這款設備的初衷。它是一個由語音和手勢控制的新介面,,在商業應用之前,必須確保控制器可以完美無誤地工作。我喜歡語音控制,我總是對著Siri說話,但是有一半的時間,她沒法給我一個好的答案,我不得不拿出鍵盤以便更快地獲我想要的信息。HoloLens將不再有鍵盤,如果語音和手勢控制不能在第一次就完美工作,消費者將會摒棄它。

另外三個樣品都沒有出差錯。我玩了一個遊戲,遊戲里,一個人在一個真實的房間里跳來跳去,收集撒在沙發上的硬幣,並被放在地板上的彈簧彈起。我雕刻了一個虛擬的玩具(一個熒光綠的雪人),然後我用3D印表機把它列印了出來。我還和一個遠在西班牙的摩托車設計師通過Skype合作畫出了一個3D的擋風板放到了實物原型的上面。

當我在做這些事情的時候,比起一開始,Kipman表現地沒有那麼緊張,但是仍舊十分專註。我們見面已有三個小時了。在每一個場景中,他看著展現在他面前的屏幕,上面顯示我所看到的。他看著我嘗試第一次使用他的設備。他的眉頭緊鎖,十分專註地查看是否每一次計算都是完美的-----當我做向上的手勢時,他關注我的大拇指和食指的觸摸,以及每一次我本能地說出的命令語句。

七年了,他總是在嘗試像第一次見到它那樣去看HoloLens。通過一個三十多歲紐約女人的眼睛去觀察它。但是,這是他的魔術般的頭戴全息計算設備仍舊沒法做到的事情,至少是現在。


從此買房不用裝潢了。


朋友看完宣傳片只有一句話..活生生把黑鏡變成了紀錄片..(*′Д`)..


這簡直是羞恥play。。。

我一定是中了微軟的小廣告病毒。。。


微軟被罵了整整一個2014,或者是整整一個21世紀前頁


就在今天,一切都不一樣了。
就像當初諾基亞發布N9一樣,我不是做不出好的設計。
對於微軟,我不是做不出革命性的產品。


此時就像
微軟心平氣和的說了一聲,你倆過來,跪下。(腦補下高冷的狀態好么)

就像 @可可蘇瑪 說的:微軟:"我就問你服不服?你他媽的幾百億幾十億估值呢?你他媽的牛逼烘烘實驗室呢?你他媽的炒作你妹啊勞資露個小腿肌肉比你腰粗。"

隱忍是最大的本事,微軟也真是夠苦的。

當所有人都在著眼互聯網革命以及移動革命的時候
微軟已經在下一場革命的戰場上「燒殺擄掠」了
有人說這不現實,不實用,耗費錢財,跟消費領域差距太大,搞不好售價動輒幾千刀,沒有個人承受的起,個頭還大,還丑。
我就問你一句,當初手機電腦不是這種情況?!

真的有點眾人皆醉我獨醒的意思呢。

唱衰,唱衰,唱衰,我現在恨不得把那些人拿出來全部打一頓,
不過以後再聽到這樣話的時候,只要回句「呵呵」就好,我們要像微軟一樣,悶騷!


最後加一段吧


唱衰Microsoft HoloLens的

我不知道這傢伙會不會改變世界
但我知道,它,重新定義了AR
就像當年你們說的,iPhone重新定義了手機一樣
-----------------------------------------------------------------------------------------------------------------------
更新一下,昨天晚上太激動,沒搞清楚狀況,錯誤已更改


當業界都以為谷歌眼鏡不成功是因為賣相太丑的時候,微軟用行動證明了,只要科技夠黑別的都不是問題。


看完視頻,我的第一個反應是,我以給業主彙報工程方案時,可以發他一副用用,那個逼格……
下次,再有業主問我排水承插管的接完是什麼樣子的,我可以拿出這貨,給領導套上,然後,高冷的說,您自己鑽進管子里看吧。


我只想說難怪minecraft之前有底氣對oculus說不!說不定人家之前就知道有這一手!
知道微軟為什麼要花25億了吧!

嗯哼~


兩年之後,HoloLens也出貨很久了,市面上的AR頭顯類產品也開始逐漸出現。我也進入了產業界,對這類產品的了解也更加深入。現在來看我的回答非常過時。

先說體驗了HoloLens以及其他各類AR/VR產品之後,得出的更新後的結論:

HoloLens是目前來看領先業界很多年的產品,也是目前技術條件下能做到的最好的權衡結果:SLAM超低延時;解析度很高,看不到像素點;部分手勢識別相當準確迅速;光波導的光學方案昂貴但亮度和透明度都非常高;FOV確實小,但這是光波導方案各方面trade off的結果。

簡單回應一下我之前推測的技術難點:

1. CPU和GPU吃得消嗎?

HoloLens在辦公室環境實測非常穩定,延時極小,但可感知。除了部分物體如鏡面,點雲和環境的match也很好。HoloLens單獨做的HPU在晶元底層做的SLAM的性能確實很好。

現在高通的820和835的晶元都在底層對VIO(有位置信息,沒有點雲)進行了優化,未來幾年也會有這個方案的產品陸續出現。但是離HoloLens的SLAM預計還是有差距。

2. 解析度解析度解析度!

HoloLens的顯示很銳利,當然這部分歸功於它的FOV較小,所以pixel per degree比較大。

3. 手勢識別

HoloLens目前可以識別手掌張開(Bloom)和手指點擊(AirTap),識別相當靈敏。這個交互方式當然有它自然的缺陷,如很累、交互很受限制等。但是其相當靈敏的識別一定程度上緩解了這些缺陷,使它成為一個很可靠的輸入方案。

4. 成像技術

HoloLens使用的是光波導的光學方案,因此鏡片相當的薄。成像亮度很高,透明度很高,這就意味著虛擬世界和現實世界可以同時看得很清楚。這就是光波導相對於傳統幾何光學方案的Meta等的一些優勢。

總體而言,HoloLens實際戴上頭的表現還是超越我的期待的。微軟作為巨頭,把真正技術的大的難點都突破了,從這個意義上看就已經是歷史性的。

當然它還有很多問題:

1. 價格

3000美元的價格還是相當高昂。HoloLens本身定位在企業級,出貨量就不高,BOM成本低不下去,當然它還有很高的研發支出,這個價格一時半會不會低下來。光學元件由於良品率低的原因也很昂貴。

2. 光學

2.1 FOV

HoloLens本身採用的光波導方案導致其FOV很難特別大。另一種方案如R-9,FOV達到了50度。ODG R-7和R-9的光學解釋可見這篇博客文章。

Meta之流的光學方案就是屬於放棄了形態、亮度、透明度等的傳統幾何光學方案,技術其實遠不如HoloLens和ODG R-9,但是它鼓吹的大FOV在用戶體驗上確實有幫助。只能說光學方案技術含量不高,HoloLens的光學專家不可能沒考慮過這類方案。

我個人在本科畢設中就基於手機光學穿透式的AR頭顯——LiteAR,FOV也能達到40度左右。但是很難做得很小,亮度和透明度也沒有多少提升的空間。

2.2 光場顯示

我覺得這其實是這一代所有AR眼鏡的短板。沒有光場就意味著所有AR的虛像都顯得很虛假,和周圍的真實環境無法很好地融合。你其實一直感覺自己在看一個屏幕,這種感覺挺難受的。根據微軟的官方介紹,光學虛像的對焦距離在2米左右,距離很舒適,但加上小FOV,使得虛擬物體永遠無法跟你靠的很近,更不用說實現像VR里Tilt Brush類似的把UI放到手上的交互了。

光場顯示是光學的一個熱門研究領域,相關的論文我也閱讀過很多,但目前來看沒有各方面特別成熟的方案。我沒有試用過Avegant和Magic Leap的光場顯示方案,對這些產品持保留意見。

2.3 無法顯示黑色

目前所有的AR眼鏡的光學只能顯示高亮度的圖像,無法渲染影子等特徵。微軟在渲染上做了一些優化,比如渲染人像時,人像周圍會有藍色的邊界,這樣深色物體至少能被看到形狀。有一種Ghost Shader可以模擬類似的效果。無法渲染影子意味著物體很難有落在地上的感覺,這就需要在藝術上做其他的輔助,如渲染高亮度的落地點等。

如果不做優化,就會像Meta這樣,顯示的物體都是半透明的。

註:

2017/7/28 更正R-7為R-9

2017/7/25 徹底更新全文

2015/2/5 更新論文引用以及第四點


整個行業都在追隨微軟用扁平化的時候,他以hologram又一次把業界甩在身後五年……


我的HoloLens是第四批訂單,到手兩周了,至今還是難以忘記第一次開機,HoloLens語音在耳邊想起的感覺,還有手指觸碰綻放著美麗煙花效果!體驗非常好!
HoloLens上手體驗
今天更新下語音開發上手的視頻:HoloLens語音控制上手開發體驗
目前開發HoloLens可以使用Unity+Visual Studio,同時微軟社區還提供了HoloLens Toolkit,這是非常好的開發入門套件。建議大家可以體驗~


Microsoft HoloLens 技術解謎(上)http://zhuanlan.zhihu.com/hacker-and-painter/19942482

Microsoft HoloLens 技術解謎(下)http://zhuanlan.zhihu.com/hacker-and-painter/19943895


懂英語的話看這個http://www.wired.com/2015/01/microsoft-hands-on/ 這裡面只是prototype。
真希望知乎能提供真正有用答案而不是用戶個人心情。如果英語不好的話我的答案可能也沒啥用。
簡單來說,技術已經基本成熟。七年研發,科幻終於將進入生活。


===============6月6日更新===============

上周回答了額問題之後,有知乎的同學聞到操作的問題,下面直接貼圖和視頻出來給大家看。。有興趣的同學繼續在下面評論裡面提問,我們會儘可能的安排技術的同學準備大家想知道的內容。
好了,切入話題。

1,關於基礎的互動
基礎的操作互動上周有寫了,這周我具體補充下幾個。

像Apple store一樣,微軟也有微軟store,開發者可以把自己的產品提交到商店,用戶也可以去微軟商店裡下載應用程序到自己的HoloLens。目前,由於HoloLens的開發者版本發貨不久,並且發貨量不多,微軟商店裡
HoloLens應用程序並不是很多。小李子挑選了幾個具有代表性的免費應用:Skype,HoloStudio,HoloTour,RoboRaid,Young Conker和Fragments。

HoloLens在使用方法上和電腦、iPhone、iPad有所不同。現在,小李子帶你看一看是如何操作的。我們先從最簡單的調出開始菜單介紹起:

視頻1—綻開手勢調出開始菜單


視頻封面HoloLens操作手勢之——綻開視頻

在上面的視頻中,大家可以看到,使用綻開手勢可以打開或者關閉開始菜單。這個開始菜單功能上和windows開始菜單一樣,打開它就可以選擇系統里的各種應用程序(App)。

HoloLens中智能系統Cortana的使用演示,如下面視頻所示:

視頻2—語音呼叫智能系統Cortana

視頻封面HoloLens語音操作——呼叫Cortana視頻

呼叫Cortana時,我們僅僅說一句「Hey, Cortana」,Cortana就被召喚出來了。在視頻中,小李子說了句 「Hey, Cortana, search
the latest news for Dallas Cowboys」 (註:Dallas Cowboys是美國橄欖球職業大聯盟NFL國聯的一支球隊),Cortana便為我們搜索出了Dallas Cowboys最新的新聞,並為我們做了介紹。

下面我帶大家體驗一下我自己覺得最有趣,最能體現HoloLens特性的一個遊戲——Fragments。遊戲的大致劇情是玩家作為偵探配合幾名特工,根據某智能系統捕捉的大量記憶碎片還原犯罪現場,破案並最終揪出幕後大壞蛋。

視頻3—game_fragment_01

視頻封面HoloLens遊戲演示——Fragments(一)視頻

在這個視頻中,我們可以看到如何打開並進入一個遊戲。

視頻4—game_fragment_02

視頻封面HoloLens遊戲演示——Fragments(二)視頻

這個視頻和下一個視頻是最能夠體現HoloLens遊戲特性的。我們可以看到進入遊戲場景後,4個遊戲人物出現在我們的現實世界中,他們就站在辦公室的地板上。

視頻5—game_fragment_03

視頻封面HoloLens遊戲演示——Fragments(三)視頻

這個視頻和上一個視頻是同樣的場景。但是,我們換到辦公室一個比較擁擠的角落,4個遊戲里的人物就改變了和我們交流的方式,坐了下來,而且就是坐在我們真實世界的椅子上,分毫不差。

從這個遊戲我們可以看出,HoloLens最具特色的地方在於遊戲場景和真實環境的融合。遊戲開始時,需要掃描你所處的四周環境,並將虛擬的遊戲場景重建在掃描的真實環境上,把虛擬的遊戲場景和真實的場景合二為一。

當然你可以在遊戲進行的不同階段,更換你所處的真實環境,只需要重新掃描一次,新的遊戲場景便建立的你所掃描的新環境上。這一點是所有PC、主機和虛擬現實設備都做不到的。它大大的提高了遊戲內人物、玩家和真實場景之間的交互性。最明顯的例子是我們上面那兩個視頻:它們是遊戲的同一章劇情,同樣的遊戲進度,但我在兩個不同的真實場景中重現了這同一個劇情,你會發現在第一個場景中,因為有很大的一塊空地,所以所有的特工都圍著中間的屏幕站著對話並向我介紹下一階段的劇情;但是到了第二個視頻里,因為幾乎沒有什麼空地,整個場景只由一張大桌子和許多把椅子構成,所以有三個特工竟然是坐著的,並且坐在了你掃描到的真實的椅子上。這意味著什麼?
遊戲人物可以更深入地和融入虛擬世界的現實世界做交互,遊戲場景並不是預設的,但是他們可以根據場景的需要,選擇站著或者坐著。

另外一個能體現HoloLens特性的地方是三維環繞立體聲,你可以靠分辨聲音源的方向迅速聽聲定位,找到某個正在發生的劇情在360度場景中的位置。


===================================================================

貼一個開箱試用報告吧,負責的應用評測還沒開始。
知乎專欄

hololens,但是看到這個單詞都能夠有莫名的期待感。我們布格VR作為全球首批拿到Hololens的公司,員工小李子有幸成為第一個體驗者。觸摸到包裹的時候,內心激動萬分…好東西怎能獨享?小李子帶你們一同體驗一番。

繼續上圖,一個包裝盒的近照,盒子設計感十足,黑色基調,鐳射彩繪HoloLens的輪廓外形,很科幻風。


保護盒近照,這個可以讓Hololens隨身攜帶的保護盒設計得也非常好,橢球形,內軟外硬,既完美的容納了Hololens機身和所有配件,又起到了很好的保護作用。

接著介紹一下名字的由來,Holo在英文中是「全息」的前綴,比如全息攝影Hologram,Holography。微軟取名Hololens,意味著這是一個全息式的眼鏡,果然物如其名。我也有幸體驗過google glass,屏幕太小,解析度太低,竟然還好意思賣那麼貴,Hololens可比它不知道厲害到哪裡去了。

=================================-==============================
6月3日補充

作者:布格小虎
鏈接:布格VR hololens開箱體驗報告 - 布格小虎的文章 - 知乎專欄
來源:知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權,非商業轉載請註明出處。

第一層:劃時代的精細之作——Hololens的主要組成部分及其功能。


這是一張更為清晰的Hololens側面圖,可以看到Hololens像是google glass,Oculus Rift和RoboCop頭盔的組合,重量有579克,比一般頭戴式設備要沉一些,但是附件里有一個額外架在上方的頭箍和鼻樑架可以消除重量帶來的不適感。如圖所示,Hololens內環可以上調或者下調一定角度,而且可以通過轉動尾部的旋鈕調節內環的大小,所以Hololens能夠恰好符合每個人的頭型,任何成人不管是否戴眼鏡都可以戴上Hololens。除去框架,Hololens包含一組全息攝影鏡片,一個深度攝像機,一個麥克風陣列組和一個Intel 32位處理器。處理器除了CPU還有一個GPU和一個HPU(特別定製的全息處理單元)。存儲單元方面帶有2GB的內存和64GB的快閃記憶體,但是可以想像Hololens相關應用程序的基本媒體信息單元是三維模型,而非傳統移動設備上的二維圖像和視頻,所以64G快閃記憶體顯得有些少。連接方面,Hololens同時配有藍牙和Wi-Fi連接。附件包含一個可以方便攜帶的包,一個交直流電轉化器,一根MicroUSB連接線,一個支持藍牙的遙控器和若干說明書。另外,Hololens的電池可以支持2~3小時的使用或者長達兩星期的待機。詳細的硬體參數請參考官方鏈接:https://www.microsoft.com/microsoft-hololens/en-us/development-edition。

當然,我們的重點是裡面這些神奇「裝備」的用途。

深度攝像機

一個輕巧版的Kinect深度攝像機,它具有兩大功能:感知深度和識別手勢。感知深度是獲取你周圍真實世界中所有物體的三維信息,將其重建成三維模型並搬入Hololens的虛擬世界中。識別手勢可以追蹤你的每一個手部動作並識別特定的操作手勢。

全息攝影鏡片

這組鏡片是透明的,分為左右兩組,每組有三個層次疊加的鏡片,分別負責紅、綠、藍三種顏色,因此Hololens可以把虛擬世界和現實世界在融合在一起,你可以想像一個Hololens遊戲場景,無數的外星機械怪物打破你家的牆壁,蜂擁而至,而你將拿起武器捍衛自己的家。一個叫「光學引擎」的裝置把光打到鏡片上成像。但是背後的光學成像原理我們尚且不知道,待我深挖一番為大家奉上。

三維環繞立體聲

雖然我們很早就接觸過這個概念,比如家庭影院,但是Hololens作為沉浸式頭戴設備的一份子也意識到了這點的重要性,三維環繞立體聲不能少。因此,Hololens在眼鏡兩側裝了一對揚聲器,這可以使你聽到來自各個角度的聲音,甚至可以在遊戲場景中聽見身後敵人的腳步聲。

第二層:超震撼的操作體驗——Hololens的控制。

下面我來佩戴Hololens,帶領大家一起體驗它的操控。Hololens後面有一個圓形按鈕即為電源開關,長按三秒啟動系統。初次拿到Hololens,需要進行一個校準過程(Calibration),校準後會有一個很詳細的教學提示,方便用戶學習Hololens的各種操作。接下來是聯通Wi-Fi,需要注意的是第一次使用Hololens可能會非常不適應手勢控制,所以輸入Wi-Fi密碼將是一個很痛苦的過程,可能會花費你長達數十分鐘,但是請不要放棄,因為這點時間的花費完全值得。如果你成功輸入了Wi-Fi密碼,那麼接下來這個微軟賬戶登錄會因為你對操作的熟悉變得容易起來。OK,至此恭喜你可以在Hololens提供的虛擬與現實融為一體的美妙世界中暢遊了。

Hololens支持4種控制方式,分為頭部運動控制,手勢控制,遙控器控制和語音控制。經過個人試用,遙控器配合頭部運動是最為方便的控制方式,但是想要體驗真正的三維人機交互,頭部運動配合手勢和語音控制才是你該做出的選擇。

頭部運動控制

戴上Hololens以後,你會在眼前看到一個游標,這個游標就相當於電腦使用時的滑鼠,對於此游標的移動操作不是靠手的移動而是靠頭部運動,游標始終位於雙眼中間位置,所以你把頭轉向哪裡游標就會移向哪裡。由於透過Hololens的全息攝影鏡片看到的是虛擬與顯示融合的世界,所以你可以環視四周360°在任何一個位置上打開一個應用程序。


手勢控制

手勢控制由Hololens的深度攝像機支持,Hololens目前只支持兩種基本操作,「點擊」(Air Tab)和「綻開」(Bloom)兩種操作。如下圖,點擊的功能類似於滑鼠的單擊,基本操作是向下打落食指,然後再次上揚,一般用來啟動應用或者選中游標位置的物體。

綻開手勢的操作是收攏五指,然後打開露出手掌,就像一朵綻開的美麗鮮花,因此取名為Bloom,該手勢一般用來打開Hololens開始菜單或者關閉此開始菜單,在應用程序和遊戲中,該手勢用來調出程序主菜單。

其他操作比如拖拽,滾動,縮放都是用點擊操作配合頭部運動移動游標實現的。

當然了,當你使用手勢的時候,你需要保證手勢在一個特定範圍的框內,否則,Hololens 識別不到你的手勢,無法做出相應的反應。當你移動的時候,這個框會隨著你移動。當你的手勢在方框範圍之內,被 Hololens 識別到,游標看起來就像一個環;如果 Hololens 看不到你的手勢,識別不到,那麼那個游標就會變成一個遠點。

遙控器控制

由於遙控器是通過藍牙與Hololens連接的,使用遙控器之前需要進行配對(Pair)。首先打開Hololens的開始菜單,選擇Setting--&>Device,然後按住遙控器背面的配對按鈕,直到遙控器背面上方出現白色的LED燈光(注意遙控器充電時此操作無效),此時選擇Device界面里的Clicker Pair進行配對,配對完成後就可以使用遙控器進行控制了。遙控器控制基本用來代替手勢控制,比如點擊,滾動,縮放,但是游標的移動還是要靠頭部運動,移動遙控器只有在滾動時有效。

語音控制

Hololens預裝了微軟的智能系統Cortana,跟蘋果的Siri很類似,據我個人親測,識別的準確度還是蠻高的,而且最方便的一點是在任何時候你都可以通過說出一句「Hey,Cortana」調出它來,讓它幫你做某件事情。很多人都好奇如何把Hololens里你看到的混合現實場景再現到電腦屏幕上或者錄製下來,Cortana提供了這個重要功能——錄屏,你只需要告訴Cortana:「Take a video」,然後用綻開手勢控制錄屏開始和結束。

下一講我們要正式開動去體驗在Hololens上運行的各種應用程序了。先來告訴大家一個小秘密:除了用Cortana錄屏,我們還可以在裝有Windows 10的電腦上下載微軟的一個app—— Microsoft HoloLens,利用該應用程序也可以實時地看到你在Hololens中看到的一切,包括虛擬世界和現實世界、



HoloLens

==================================================================
6月2日
想了解hololens更多的需求,可以在評論裡面提,我們讓美國lab的同學測試一下


先佔坑,明天體驗完回來答題 :)

並不讓照相所以沒照片, 體驗了三個不同項目分別為3D建模,遊戲和展示。
圖像並沒有抖動問題,包括玩遊戲時跳躍快速移動等等。
視線捕捉較為靈敏。
圖像沒有延遲,反饋迅速。
不足之處在於呈像範圍較小,看比較近或大的虛擬影像時常常看不全,需要移動視角才行。


因為利益相關說說這次軟家這個叫HoloLens新玩具和Google Glass的對比吧。

看輿論的話這次Glass被全方位秒殺。Glass沒有做全鏡片,Holo有。Glass沒有手勢,Holo有。從宣傳視頻來看Holo結合了更多虛擬現實的元素,相比Glass的日常顯得更科幻更酷炫。而且Glass推出這麼多年,體驗過的人都知道,那設備連宣傳片的一半功能都沒有完成,續航不行,還會過熱。這次Holo一推出明顯直接推下高地佔領了可穿戴市場的高峰。

兩款產品的最終目的都是為了讓科技全方位的融入生活中的每個角落。而從設備的外形來看,Glass和HoloLens為了達到科技和日常無縫對接的目的採取了兩個路線。Glass的選擇(或者說階段性失敗的原因),是極富野心的,他從一開始就不希望阻礙人正常的生活。沒錯我們是要讓科技與日常對接,但還要無縫啊!所以Glass從一開始就選擇壓縮機身,選擇了小屏幕,於是所能提供的功能並不多。但這是Glass的信念,那就是無論如何這款設備不能喧賓奪主,我們可以日後科技進步一點一點把功能加起來,但我們不希望把一個大傢伙摁到你臉上讓你天天帶著。Glass選擇了做加法。所以Glass在強調這個東西我們可以跑步的時候帶,做飯的時候帶,和孩子一起玩耍的時候帶。

而HoloLens不一樣,說實話看到設備照片沒看視頻的時候我以為這個東西和Oculus Rift一樣不是一款日常應用的設備。但視頻明顯在暗示這會是一款像智能手機一樣伴隨你一天的東西,那麼問題來了……帶著這個東西走在大街上是很酷炫還是很白痴呢?HoloLens的選擇,我想,是要做減法。大機身一定程度上保證了性能,可以推出很多很多很酷炫的實用應用。之後我們一點一點把設備變小,讓他不再顯得那麼突出。

我個人認為軟家的路線更現實,更容易製造爆點,也更容易被人接受。畢竟大家現在都有安卓有蘋果,一款只能查郵件拍照片還動不動就過熱重啟的設備,顯然難以讓人買賬。而回顧歷史,我們會發現電子設備都是一點一點變小的,電視,電腦,手機等等,都是從笨重的大傢伙變成了能夠讓人接受的小靈巧。因為畢竟帶來技術變革的是實用有效的功能本身,而不是設備和生活的關係。有的電子設備還為了提供更高級的功能又變大回去了。。。(我真不是在怨念越來越大的手機屏幕)

但我要潑冷水的是,Holo的這個視頻,也只是一個宣傳視頻。現場的演示表現出的能力也有限,並沒有360全方位的投射,做的那個模型也大家還記得幾年前Glass剛出宣傳視頻的時候嗎?反正當時我也是激動的不行,感覺新的時代就要到來了。可是Glass的實體並不盡如人意。同樣的例子其實很多,Myo,LeapMotion都還在實現他們革命性想法的路上探索著。我想微軟放出這個視頻也是在告訴大家他們也有一個同樣偉大的理想,所以先讓我們安靜的等待,我們都願意相信這是個拿得出手的作品。


利益相關:我是個用著iPhone在谷歌工作的軟粉。

補:
大家在說Oculus,從用途和定位來說我覺得OR並沒有可比性,畢竟OR的定位更像是一個特殊時段的玩具而非日常用品,所以它可以做的更大更重。當然如果日常的HoloLens做的比特殊用的OR效果更好,OR也可以gg了。


你們這樣好師太啊,請各位冷靜一下,聽我一言。
我想說的是。。。

嗷嗷嗷嗷嗷~


推薦閱讀:

微軟的 HoloLens 會改變世界嗎?

TAG:微軟Microsoft | 增強現實AR | HoloLens |