如何評價開源 MR 產品 HoloKit?

在2017年6月5日美國矽谷舉辦的2017 AWE(增強現實世界博覽會)上,矽谷新媒體工作室Amber Garage展出了混合現實(MR)版本Cardboard產品Holokit,並免費開源所有內向外定位追蹤(inside out tracking)演算法代碼。

Holokit套件由卡紙式的MR盒子與配套APP組成,具備76度視場角FOV,光學素質銳利清晰,與普通智能手機配合使用,可以實現類似谷歌tango的自內到外的追蹤能力,用戶可以看到虛擬物體非常穩定的放置在桌面和地面上,就像虛擬物體實際存在一般。

HoloKit 產品開發團隊介紹:

由Amber Garage工作室,香港科技大學沈劭劼教授的研究團隊和紐約大學ITP學生朱逢源以及歌航電子合作研發。核心產品是基於慣性感測器與單目視覺融合定位演算法的inside out(自內到外)的追蹤演算法解決方案。Amber Garage負責項目的設計和技術研製,HoloKit的演算法來自香港科技大學沈劭劼教授的研究團隊,HoloKit的光學原型是來自紐約大學ITP學生朱逢源的課程項目,硬體設計和研製來自歌航電子,經過整個團隊半年的打磨,才形成目前的產品設計和開源代碼。

HoloKit是Amber Garage創始人胡伯濤的一個創意項目。胡伯濤畢業於清華大學和斯坦福大學,於兩年前創辦位於矽谷的新媒體科技與藝術工作室Amber Garage,並致力於機器人定位規劃演算法的研究。

官網:Open Source Mixed Reality for Everyone

Paper地址:http://www.ece.ust.hk/~eeshaojie/ismar2017peiliang.pdf


東西是很酷的,用半透膜,菲涅爾透鏡和紙板解決了很多AR/MR的棘手問題。這個帖子有詳細介紹 現在世界上有較為成熟的MR(混合現實)設備嗎? - 知乎

但同時也應該看到幾個問題。

1. $30指的是盒子的錢,而你需要一個高端手機。不是只要$30就都搞定了,也不是任意手機都可以。有的媒體在報道的時候出了偏差。

2. Hololens賣$3000並不是因為特殊的晶元導致其成本居高不下,而是因為那是開發版。看看XBox360的開發版,和零售版就差一個debug模塊,甚至連解密模塊都沒有,$10萬。定位不同而已,跟成本沒關。

3. 注意出現的所有使用照片

注意到共同點了嗎?都得至少一隻手扶著。潛望鏡造型的設備,難免重心前移。更何況最重的手機部分裝在前頭。Hololens做了很多事情,通過內部外部人大量的試戴,才得出一個比較舒服的頭帶方案、鬆緊調整能力和重心分布。這些都是產品化過程中需要解決的工程問題。

要說原型的話,MSR有一篇非常exciting的paper,發表在SIGGRAPH 2017上。

Holographic Near-Eye Displays for Virtual and Augmented Reality - Microsoft Research

80度的視角,&>=90Hz的刷新率,就一眼鏡的造型。


我體驗過這個產品,也試用過Hololens,心裡的的感受就是,「我操,太牛逼了!」。

其實用了HoloKit之後表示震驚的不止是我,還有斯坦福光場顯示專家 Gordon Wetzstein教授,甚至是谷歌Project Tango的創始人Johnny Lee,連Youtube第一網紅Casey也覺得非常好,還有一個融資十幾億美元的友商的離職大佬(不方便透露名字)也覺得非常好。

我覺得這個產品最大的意義這是送給新媒體藝術家的一份大禮,是一場AR/MR民主化的革命,我覺得非常有必要讓廣大的學生群體、科研群體、藝術家都能用上這個產品,發揮他們的創造力,才能驗證AR/MR是不是真的想像中的那麼革命性。實際上對這個產品最感興趣的應該是博物館、學生、程序員、3D藝術家、交互設計師等等....

對於相關從業者愛好者(目前支持iPhone 7/7+或者是Google Tango手機,這個文章裡面有明確說明),這個產品成本就是200塊錢,而且不排除山寨廠商開發出適配其他手機的產品,而且這不是Demo,而是可以立馬投產的東西。

需要補充的是,HoloLens和HoloKit走得是完全不一樣的路線,沒有必要造成對立,並不是對HoloLens宣戰。Holo是很高大上的感覺,但Kit就是很屌絲的感覺,Lens也很高大上。所以HoloLens是很高大上很有未來感的產品,從技術選型到產品的設計,都很有前瞻性。而Holo+Kit 是不是有一種違和感,HoLoKit你就可以理解為AR界的Google Cardboard。。。

HoloLens用的是waveguide波導成像,利用光柵衍射導光,HoloKit用的是和Meta 2一樣的傳統光學方案,利用反射和折射成像,原理不一樣,我理解是傳統光學有局限性,沒有辦法做成eyeglasses form factor,而HoloLens的方案未來是可能的,而且未來能做到大視場角,而不是現在的45度左右。而且現在HoloLens的交互啊肯定完爆HoloKit。(所以我們標題用的是視覺效果超***)。

但是目前HoloLens目前的現狀的確是如文章表述的:

Hololens還是限量的非消費者版,現在這個版本據胡伯濤說他2年前就用過了,東西是不錯,感知部分空間定位做的很棒,顯示部分一般(視場角只有34度),要價$3000(2萬多人民幣),消費者買不起,第三代版本據說要2019年發布。

此外,HoloKit核心產品是基於慣性感測器與單目視覺融合定位演算法的Inside-Out的追蹤演算法解決方案,而且是開源可用的方案。(文章裡面有明確說明)。

更多說明,其實矽谷密探的文章裡面有表述: (鏈接:www.toutiao.com)裡面也說明了...

(再說句額外的話,矽谷密探微信公眾號把文章刪除的原因並不是有事實錯誤,我們也邀請了相關從業人員review過,主要原因是裡面credit和合作關係的表述會給人錯誤印象,應作者要求刪除的。)

最後總結一下,這個項目本身目前並不是商業項目,希望相關行業者可以去研究一下,一起為這個項目貢獻代碼,也希望相關廠商能夠快速製造出可用的AR/MR產品。

「這是一份送給 AR/MR行業的禮物,為所有技術人員提供開放源碼,甚至我們HoloKit的硬體都給出DIY指南。」胡伯濤表示,「對非商業行為全部免費開源,每個人都可以發揮創意思維。」
國內外用戶可以從App Store下載Holokit演示應用程序,支持iPhone 7和iPhone 7 Plus。預計七月份將會提供更加完善的版本。GitHub上已經提供了官方視頻和開放相關代碼。

這是一次社會性的藝術實驗,「我對增強/混合現實的態度是中性的,因為長久以來都沒有AR的killer app,我想知道如果所有人的都能低成本的參與增強/混合現實,試錯成本大大降低。大量的開發者和有創意的學生和藝術家都能進入這個領域這個行業是否會迎來爆發?還是說可能MR/AR並沒有想像那麼大影響?」

胡伯濤還表示,「我們很期待並好奇,開源貢獻者將這樣的核心演算法發展成什麼樣,創建什麼樣的應用,為MR的內容生態提供什麼樣的創意。HoloKit軟體的核心跟蹤庫是一個開放源碼的C++庫,開發者可以使用Unity開發App」。
這是一份送給AR/VR/MR行業的大禮,這會帶來一場新媒體藝術的革命,混合/增強現實從此開啟了新紀元。


去github看了一下holokit的開源方案,發現開源的只有一個pdf文檔……最近更新時間是在幾分鐘之前,看來圖紙還沒有準備好。

pdf文檔給出了diy教程,大致看了下,結構很簡單,包含兩片菲涅爾透鏡(放大用),兩片單向鏡(防止重影),以及一個硬質外殼,官網說一套下來大概要30美元,我估算下,在某寶弄一套下來也就不到一百塊,文檔推薦使用一種輔助閱讀的鏡片代替「昂貴」(某寶9.9 - 幾百都有)的菲鏡,就是下面的這種:

至於單面鏡,則是用玻璃板加單向玻璃膜粘合,某寶價格如下:

玻璃板其實也可以隨便找塑料板或者亞克力板定製,某寶一整套目測不會超過50塊,然後組裝,開始玩耍,只是pdf中沒說用什麼配套的app,開發套件什麼的也是等於零,等後續更新吧。

另外寫文檔這哥們估計是中國人,因為文檔里突然冒出來這麼一句:

剛剛作者好像已經把這個圖補上了哈哈蛤。

另外文檔結束還有一句:

「如果你鼻子比較大,請挖個大點的洞。」

哈哈哈神經病啊。


今天在矽谷密探看到了覺得蠻牛逼,然後發現文章被刪了的舉個爪


MR紙板眼鏡製作過程


我們來做。

網易智造 HoloKit AR眼鏡 - 網易首款AR智能產品 一眼一世界 - 網易嚴選


實戰指南:1、微軟官網指導如何創建你的第一款Holo APP「宇航員在你家客廳漂移」;2、粉絲用戶示範指導你創建一個地球行星及操控爆炸行星帶的小隕石,這是一款特別為無昂貴硬體,僅僅利用微軟官網的模擬器來創作的一款Holo APP;3、設計師角度,設計師初學者UnityC#,需要下載安裝微軟HoloToolkit-Unity來製作一款簡單物體與環境的全息互動。

實戰: 簡單至複雜的Holo App 三例(全部細節)

產品資料視頻 時長 : 51:59


我們現在這個時代,牛逼的東西幾乎不需要宣傳。中國隨便一個最低劣的山寨的手機VR設備,都有一大堆投資人願意投錢。

這個自稱參加過國外某展的玩意,所有說明材料就是一個視頻,和通過這個視頻或截圖或做成GIF文件的宣傳內容,而且唯一標榜的就是參加過這個某展,其他無。

自稱免費開放,我在知乎上就看到至少兩個回答的下面都是宣傳這個東西的,下面的回答清一色的叫好。

所以如何評價?一個字,騙紙。


推薦閱讀:

Microsoft HoloLens 應用到日常生活中將是怎樣的體驗?
使用Unity3D開發HoloLens應用是怎樣的體驗?
HoloLens 和 Oculus Rift 具體有什麼區別和聯繫,誰更有技術優勢?
如何評價 Microsoft HoloLens 這款產品?
微軟的 HoloLens 會改變世界嗎?

TAG:增強現實AR | 虛擬現實VR | HoloLens | 混合現實 | HoloKit |