使用Unity3D開發HoloLens應用是怎樣的體驗？

01-06

Unity3D主要用於開發3D遊戲，而對於遊戲來說，交互性時非常重要的，常用的交互工具如滑鼠、鍵盤、手柄都是已經非常成熟的交互工具，而玩家也已經適應了這些交互工具的使用，所以可以輕易上手。但在HoloLens的3D虛擬場景中，使用滑鼠、鍵盤、手柄作為HoloLens的交互工具，顯然時不顯示的（想像一下你帶著HoloLens，手裡握著滑鼠在桌上滑動的場面，而且HoloLens是立體場景的，也就是說你可以在整個場景中走動，滑鼠就只能在自己身上滑動了o(╯□╰)o）。

那麼一般在HoloLens中用什麼方式進行交互呢，通過介紹視頻，我們可以發現手勢和語音是唯一可行的方式了，雖然現在在手勢識別和語音識別技術上已經又不小的發展，但這對於Unity3D開發者來說，無疑是一個大坑，這是其一。

其二，當你在電腦或者手機上玩3D遊戲時，不可避免的劇烈發燙（電腦風扇會呼呼的響），也就是說3D場景的各種東西的運算是非常燒CPU和GPU的，那麼這回照成以下問題：

1.HoloLens耗電耗的飛起。

2.燙頭……

對於這種問題，可以想到的方法是在伺服器端（或者自己的座機）進行計算，以此來減少HoloLens的運算量；但這又產生了另一個問題——》網路延遲，在HoloLens產生延遲對用戶體驗上無疑是非常不好的，於是，這又是Unity3D程序員的一個大坑。

其三，人眼的變焦（這是我個人猜測問題），人的眼睛是會變焦的，你可能沒有注意到，當你看遠處時，近處是看模糊的；當你看近處時，遠處是模糊的，但你若是要在Unity3D中體現出這種真實的體驗，想必也是很困難的，這也是在手機、電腦遊戲中不會遇到的問題，雖然Untiy3D確實有根據距離不同渲染精度不同的自帶介面，但這無疑又是Unity3D程序員的一個大坑。

HoloLens還沒正式發售，一切都是未知數，也許HoloLens能夠提供非常便利完善的介面讓我們解決這些問題……誰知道呢╮(╯﹏╰）╭

HoloLens-Unity 學習筆記1

HoloLens開發上手詳細教程之-語音控制

http://mrdeveloper.cn/?p=142

開發很好玩~

陸續更新HoloLens開發教程

今夏在學校實驗室暑期實習的時候有幸跟著愛折騰的教授玩了一個暑假的Hololens，怒答

首先背景：賓夕法尼亞大學計算機系大一學生，接觸Hololens之前主要干過一些Android開發和Robotics開發，Unity3D沒摸過-_-#， C# 不會-_-#。學的課程大概到數據結構與演算法。總之稟著figure out everything的迷之自信我就開始用Hololens了。。。。。。

一開始教授給了個Surface Pro 1 （注意是1啊這是古董啊）硬著頭皮裝了環境之後就開始鼓搗教程，發現模擬器裝不上跑不了。。。。。於是乎向教授所要更好的電腦。

然後教授給我了實驗室最好的power horse，具體配置不記得了大概有10個CPU吧。。。。。

之後的日子裡這台電腦我跑3個Unity 開著Visual Studio 幾十個Chroma Tab 卡都不帶卡一下的。

然後就開始開發了啊先學Unity C#然後熟悉要用的一些軟體（因為Hololens剛剛出所以各種軟體都是測試版所以做起來非常的被動各種出問題）

具體過程就是用Unity開發非常方便啊。其實說是research更多是explore capabilities of Hololens，熟悉相關技術然後為以後開發做準備。具體使用感受一是這玩意太厲害，把一個物體放在房間里的固定位置，從眼睛裡面看位置動都不帶動的，二是開發這玩意的資料太少，很多東西都沒有先例挺坑人的。教授主要想做一些醫學相關的，所以Hololens的精度非常適合，但是有一個非常大的問題：hand occlusion。

說明白的一點就是當你把手伸出去的時候，如果AR生成的物體在空間的相對位置是在你的手之後的，那麼你更想看到的是你的手而不是電腦生成的圖像。Hololens的API並沒有提供深度攝像機的數據，所以想做這個hand occlusion費了很大一番周折。目前最好的解決辦法是Leap Motion，折騰了兩個星期做的成果：Hololens with Leap Motion。這幾天想試試kinect，看能不能用point cloud實現這個效果。

Project link: https://github.com/ZhengyiLuo/LeapMotion_Hololens_Asset

卡死，日特么的，性能怎麼這麼差呢！

」干啊！這尼瑪幀率怎麼也上不去啊！」

會整天抱怨hololens內存不夠用

為了裝開發環境，在月初就把我這個月的20G流量耗光了……

後來發現六維上有- -

開發HoloLens應用有一小段時間了，去年上半年在米國買回來的HoloLens，導師就讓我們學習開發，最開始可參考文獻非常少，一步步摸索，翻譯國外的文章，日常需要進行翻牆搜索開發資料。。。摸摸索索快一年做的應用也有一些了，提幾點問題吧，視窗口非常小，貌似是60度，只可以看到小範圍的東西，交互比較吃力對於一些年紀比較大的人來說手勢和英文語音識別都是不太方便的，建議加輔助操作設備，這就涉及自己寫通信和伺服器的內容了，另外對於HoloLens來說，顏色渲染顯示與unity開發所設想的完全是兩個概念，不要抱很大期望。

但是用UNITY開發確實很方便呀！功能啥的基本都可以實現，但是HoloLens偶爾會抽抽風，，，，這就。。。。。不太好說了，，，，，總之方便但是差強人意？？

感覺么，好玩。

你們看下國外牛人針對oculus做的遊戲交互場景。

https://www.youtube.com/watch?v=jLp3W1gbhRk

結合HoloLens的強大的硬體機能和Unity3d的簡單上手周期，理論上開發就變得非常輕鬆了。。

理論上說移植一個遊戲也是非常簡單的。