眼球追蹤技術，可用於操作瀏覽器等，你有什麼創意或看法？

01-25

想做個關於產品方向的調查.
現在能想到的產品方向有：
1、在有攝像頭的pc、筆記本上實現眼球控制，可以瀏覽網頁，瀏覽程序，自定義鍵盤（宏）等。還可以控制滑鼠。可以服務於障礙人士、懶人。以後還可以用於「互聯網電視」。
2、移動設備（ipad，如果有攝像頭的話）上的操作方式，用於遊戲控制等。
3、其他歡迎各位補充，發揮想像力看能做出什麼來？

------------update----------把下面補充的一段也放進這裡--------------
有些方向引起了我們注意。在windows8中將加入』面部識別『，用於登錄、切換用戶功能。http://www.cnbeta.com/articles/133682.htm
參考視頻：http://www.tudou.com/programs/view/2NsQXpXeCmQ/，（可以從6分25秒看起）
日本的docomo實驗室用另一種方式實現了這個功能。（日本人也確實做了不少很多年也用不上的技術....）希望這代表了一些前瞻性的方向。
在該領域，可以考慮在一些商業場所應用，比如家電賣場，新品的發布，可以檢測觀眾的』注意力『（廣告效果監測）。
---------update-----0417---其他新聞
蘋果收購眼球跟蹤系統技術發明商Tobii
http://www.cnbeta.com/articles/84373.htm
學生製造:低成本眼球跟蹤系統可幫助殘疾人控制電腦http://www.cnbeta.com/articles/140226.htm
Sony開發「眼球跟蹤」眼鏡用於記錄用戶日常生活

http://www.cnbeta.com/articles/113150.htm
NOKIA的3D虛擬操控
http://digi.tech.qq.com/a/20110505/000477.htm
一個前置攝像頭，用來追蹤用戶的眼球運動，從而自動調節3D影像的角度和清晰度。這一點比起目前的裸眼3D手機已經是一個改進，現有的產品需要用戶保持一定的角度和距離觀看，否則將難以獲得清晰的3D效果，並且出現頭暈的癥狀。

試試看結合傳統行業吧，在互聯網方面個人感覺這個專利應用範圍不大。在傳統行業中，倒是應該有不少好的應用。比如質檢員可以大幅度提升效率。

好的技術結合好的應用，滿足好的需求，就一定有市場

Wii和kinect的火爆和與之相配對的遊戲及玩法是分不開的。

這個技術已經有人做，只是商用的還沒怎麼看到，如果能低成本的做出來像頭盔瞄準具那樣的設備，或者乾脆做到眼鏡上，再配以適合的遊戲或者應用，會火的。

其實對於眼球追蹤技術的應用，其他幾位答主都講得差不多了，我們可以聽聽業內人士的看法。以下內容是七鑫易維的CEO黃通兵老師在硬創公開課上的演講總結

一、眼球追蹤技術是怎樣一種存在？

眼球技術追蹤原理

眼球追蹤首先分為浸入式和非浸入式兩大類。目前，最流行的眼球追蹤技術主要應用到光學技術、圖像識別技術。

例如，我們提供的VR中眼球追蹤模組工作原理是：首先通過感測器識別人眼的特徵點，建立人眼的數學模型，在眼球轉動過程中對轉動動作進行捕捉，通過複雜的演算法計算出人眼注視點的位置。

眼球追蹤目前的應用如何？

眼球追蹤技術其實起步很早，但眾所周知，一些前沿的技術總是最早出現在軍事領域，主要是用於戰鬥機瞄準技術等。

目前眼球追蹤民用化應用還處於起步階段，應用比較成熟的也是我們最早涉足的就是眼控溝通輔具，主要是幫助漸凍症患者通過眼睛控制電腦與外界溝通交流

另一個應用比較廣泛的是廣告分析領域。

例如，電梯里一塊廣告屏，每天有多少人看，看的人看的是文案還是圖片還是模特，眼球追蹤技術都可以捕捉到這些數據，可以幫助評估廣告效果，及時完善產品。

上圖就是眼動分析的很好實例，其實兩幅廣告的差別就是模特的眼神。

再比如現在一款手機發布總會有幾種顏色可以挑選，但是究竟哪個顏色受歡迎誰都無法保證，這個時候眼控廣告分析的價值就體現出來了，只需要把幾款顏色的手機放到一起，最終數據會很直接的告訴你哪一款最受關注。

二、眼球追蹤如何在VR領域實現運用？

1、為什麼選擇眼控？

雖然目前VR的眼球追蹤還剛剛起步，但是隨著眼球追蹤技術成為VR的標配，眼動相關的應用都會隨之而來，比如，在虛擬購物中採用眼動分析來手機用戶的興趣點大數據。

說到為什麼選擇這個方向。我之前是做航空方向的，軍用瞄準頭盔中頭動追蹤、眼球追蹤都是很重要的技術。我更希望把這些技術做到消費級、推廣到大眾應用中，才有最大的成就感。

其實不僅僅是眼球追蹤，對於很多的技術來說，並不是選擇什麼方向而是更適合什麼方向。2009年的時候智能設備還不夠發達，當時能用眼球追蹤的領域非常少，而對於漸凍人來說，後期只有眼睛可以動，他們需要與外界溝通只能通過眼睛，所以我們就進入了溝通輔具領域。如今也是同樣的道理，VR雖然火起來了，但是它的很多問題卻一直在，包括眩暈、渲染、交互等都是存在問題的，能夠解決這些問題的技術是什麼，我覺得眼球追蹤技術是一個很合適的方向，所以我們進入VR領域，屬於天時地利人和。

目前的VR交互方式有哪些？

對於VR來說交互應該是多元化的，動作捕捉，手勢識別，語音識別，眼球追蹤，腦電肌電……這也是VR魅力的所在，不同的場景，獲得不同的體驗感受就需要不同的交互方式來支持。

這些方案各自實現的關鍵技術是什麼，存在什麼優缺點？

動作捕捉現在有光學方案、姿態感測器、以及二者融合的方案，技術上比較成熟，國內例如諾亦騰就在做，優點是可以把整個人體的動作帶入VR中，缺點就是使用較複雜。

手勢識別其實是動作捕捉的細分，例如有純光學的Leap motion和諾亦騰的姿態感測器方案，光學的缺點是有死角，姿態感測器的方案沒有死角，但是穿戴稍微複雜。

語音識別的話，隨著深度學習等新技術的應用，識別度會越來越高。但是，語音識別適合命令和文字等輸入，對於滑鼠類連續「坐標」的輸入，是不行的。

眼球追蹤在VR上應該是比較適合普及的交互方式，VR眼鏡也是天然的一個眼球追蹤平台，距離人眼非常近，適合加裝眼動感測器。除了快速交互以外，還可以實現注視點渲染，眼動數據分析等強大功能，缺點就是會增加一些成本。

說到腦電肌電，這是未來的輔助輸入方式，目前的電極還比較多，使用稍微麻煩，不過低精度的輸入已經可以實現。

相對於其他交互來說，眼控有能解決什麼？

相比於其他交互來說，眼球追蹤門檻低無需複雜外設，受環境影響小，應用場景幾乎無限制，更為重要的是眼控交互非常人性化，眼動交互非常符合人的直覺。

比如，戰鬥機遊戲中，就可以體驗真實的眼球鎖定目標進行打擊的快感。

又比如，在遊戲應用中隱藏菜單功能，通過其他的交互方式需要刻意發出指令隱藏和調用菜單，而眼控交互可以非常自然，當注視點偏離，菜單會自動隱藏。

甚至注視字母，配合手指、腦電肌電動作進行快速打字，經過我們測試也是非常酷的。

2、在VR領域，眼球追蹤技術是一個什麼樣的角色？

1）眼球追蹤技術都是如何實現的？

眼球追蹤技術的原理就是通過演算法判斷人眼的注視點位置，不管是局部渲染還是眼控交互都是基於注視點的判斷進行的。當我們通過演算法判斷出注視點位置，對這個位置信息可以進行有效利用，比如焦點渲染技術是實現對注視點位置高清渲染，其他區域降低解析度渲染。

VR領域中眼球追蹤的技術有很多，除了傳統的光學方案，採用高速的近紅外攝像頭。其實還有眼電流、MEMS眼動系統、接觸鏡等。但目前效果比較好還是以光學為主。

我這裡就主要講講目前的光學方法，採用高速的近紅外攝像頭拍攝人眼紅外特徵圖像，然後進行圖像處理，再通過預先建立的人眼數學模型進行注視點求解。

這是為了解決目前VR渲染高GPU性能需求的技術；如果對注視點區域設置了UI級的交互，例如你看一個虛擬美女的時候她會朝你笑一下，這是VR眼控交互技術。

2）在VR上實現眼控，難在哪裡？

結構上的限制

VR眼鏡的光學結構不同，會給加加眼球追蹤帶來一些麻煩。VR眼鏡里加眼控技術要受到VR的使用條件和結構緊湊的限制，既要保證VR設備體積和重量，還要能與VR本身的結構相融合。

例如非球面透鏡和菲涅爾透鏡，就有很大的區別，還有用戶佩戴眼鏡、隱形眼鏡等干擾，都需要處理。

眼球追蹤範圍大

在VR應用中，眼動範圍很大，幾乎達到了人眼轉動的極限（垂直30°，水平50°），這樣也讓眼球追蹤的難度增大了很多。

VR設備的晃動

VR設備是頭戴的，頭部的晃動以及設備相對頭部的晃動都是難免的，在這種運動狀態也要準確的獲取數據，無疑是對硬體和演算法很大的挑戰。

眼球的差異

還有人的眼球其實都是不一樣的，亞洲人和歐美人都有較大差異，紅外特徵也不同。

人們的眼球個體差異還體現在，人眼的Kappa角不同（甚至有的人有嚴重的斜視），有的人有輕微的眼疾，有的做過眼部手術等等。都會導致眼球追蹤無法工作，所以都需要考慮進去。這往往需要大量的差異化數據採集，才能做到較好的可用性。

最後是，實時性強，精度高

VR眼動數據應用需求也不同，表現在實時性強，精準度高。比如把眼動數據用於渲染控制時，需要及時獲取注視點坐標，並進行渲染，要求延時非常低。在遊戲應用中，不但要求實時性強，還要求精度高，才能帶來良好的用戶體驗。VR需要的眼動數據獲取頻率一般要在120Hz以上。

當然以上的幾個難點有的是提前考慮到的，有的是在研發過程中遇到的，當我們把這些難題都解決了，就有了我們現在的VR眼控方案。

3）該如何平衡VR目前渲染、性能不足等問題？

解決VR目前渲染，性能不足問題，這個正好是眼球追蹤的強項，因為：人眼成像的過程中，中央凹視野（Foveal vision area）成像清晰，只覆蓋視野1~2度，視覺敏銳度高；周邊視野（Peripheral vision field）成像是模糊的。

說直白點，人眼其實只能看清指甲蓋大小的區域，而周圍區域都是模糊的，只有亮度和運動敏感度。

眼球追蹤可以輔助GPU實現Foveated Rendering。

如圖所示，當人眼在看屏幕H時，雖然整個屏幕都可以看到，但是只有B區域的中央凹視野是清晰的， AC區域成像模糊，因此在畫面渲染過程中只需要渲染中央凹視野很小的範圍，對周邊視野區域進行模糊渲染。眼球轉動，高清渲染區域隨著注視點的變化而變化，這樣既可以得到高清的視覺體驗，又可降低GPU負荷，從而可以大幅的降低VR設備對硬體的要求。

三、究竟什麼時候能實現商用？

1、你們的眼球追蹤做得怎麼樣了？

目前我們的眼球追蹤技術和國際上幾家眼球追蹤技術公司相比基本屬於各有優勢，所以在國際合作上也比較受重視。比如HTC、facebook，高通、英偉達、谷歌等科技巨頭都有跟我們接觸，希望通過眼球追蹤解決渲染問題，提升交互體驗。

高通和英偉達則更注重渲染問題，現在已經和我們有技術上的合作，主要針對將眼球追蹤技術注入到硬體晶元層，從底層技術實現渲染優化。

2、眼球追蹤技術實現商用，最大的瓶頸是什麼？

眼控VR實現商用的瓶頸主要還是VR大環境還尚未成熟，就以目前主流的VR設備來說不管是清晰度、質量、還是內容都有很大的提升空間，而這些都是VR發展的初級關卡，只有這些問題都解決了才能晉陞去攻克更難的交互，渲染等問題。

不過目前很多VR相關廠商都在與我們建立合作，還是很有信心。

3、眼球追蹤技術在VR領域應用得怎麼樣？

目前能較為成功的將眼球追蹤技術用於VR中的，除了我們這樣的國內創業公司，還有有德國的SMI公司。SMI聯合三星發布的套裝包含內置了眼球追蹤相機的Gear VR。還有一款Fove也引入眼球追蹤技術，不過從去年眾籌開始就一直延期發貨。除此之外還有EyeFluence專註在眼動交互方案的研發。

根據目前VR廠商對眼控VR的態度來看，眼控VR商用在今年就會出現在一些VR設備上，真正達到市場級可能需要等2017年，一些大品牌開始進行硬體迭代，眼控作為可以解決大部分基礎交互的技術方案，開始進入商用階段。

----------------------------------我是機智的分割線------------------------------------

如果想有更多技術交流也歡迎參與我們的技術交流活動。

搜索公眾號ycopen就能找到大群主我啦，掃描二維碼（二維碼在這裡）查看喔~

09年接觸過一個類似的專利人，我的意見從那時到現在沒有變化：這沒意義，違反自然規律。眼睛不是用來干這個的，道理就這麼簡單，謝謝！

眼球主要是輸入設備，不是輸出設備。就和 ADSL 一樣，下載（輸入）帶寬遠大於上傳（輸出）帶寬。用眼球來操作就和網頁伺服器用 ADSL 連接一樣：不靠譜！

眼球的運動包括有意識的選擇注視，和完全無意識的眼動。後者是不可控制的。這會給任何試圖用眼球運動來操作跟蹤的人帶來很大麻煩。因此想完全依賴眼球來搞一個輸入裝置，技術上非常困難，也可以說沒有多大意義。但換一個角度思考，用跟蹤眼球來做一些輔助的事情，或者利用手眼配合來提高效率不是完全不可能的。 10年前就有利用眼球提高輸入法效率的文章，你不妨參考一下。

玩遊戲的時候萌生一個比較喪心病狂的想法[捂臉]遊戲可以通過看特定時間的廣告視頻賺金幣，但是播放的時候，你可以不看屏幕干別的事情等播完再接著玩，這樣廣告就比較無效。現在一些電子設備上已經有了人眼識別功能，你盯著屏幕的時候，屏幕就一直亮著，你不盯著的時候屏幕就會變暗，可以把這個功能和廣告視頻結合一下，播放廣告視頻的時候電子設備會被要求打開這個人眼識別功能，播放過程中，如果被人眼識別功能識別到沒有在看，視頻計時就自動暫停，直到識別到人眼再繼續計時。。。不知道可不可行[微笑][微笑][微笑]不過有點細思極恐。。

靠，最好用的是全快捷鍵，不包括某些「用二分法代替滑鼠」的變態沒用過.. .

眼鏡是20000流明的窗戶，一打開放出來的全是紫外倍頻晶體被泵出來的死光~

用於閱讀。在電腦上看書的時候輕微放大眼神注視之處的字型大小，就像把滑鼠放在一些按鈕上一樣，我想可以提高閱讀的專註程度。

我自己就有這種需求，我在讀長文章的時候，會把正在看的一段勾出來，否則眼神遊離不定有點暈乎乎的。

個人意見：用眼睛關注的焦點取代瀏覽器的滾動條就夠好用的了。

眼睛耳朵鼻子都是接受系統

眼睛還勉強可以撲捉生理信號，比如說瞳孔大小，聚焦點等。

但是人類的最主要的輸出系統還是通過語音。

我認為語音至少比眼球撲捉更有市場和更貼近用戶需求

在回答這個問題之前，我們應該首先對眼睛作為人體器官，上帝設計它的功能是什麼有認識才行。人們用眼睛去觀察事物，從這點上說眼睛去操作事物感覺只是為了耍酷。但是眼睛是心靈的窗戶。眼神可以傳遞我們的心思。利用此意識流或許會是交互方式的又一變革。

我在IBM做專利評審的時候，每年都接觸到一些類似的想法. 如果單從商業價值來考慮, 我認為它們很難進入普適市場. 主要的障礙包括用戶慣性、效率、無障礙性等. 比如很難想像人體還有哪個部分的器官能比手(或腳)更靈敏以及與大腦保持如此密切的聯繫.

但是在一些狹義情景中, 眼球操作也許有優勢, 我能想到的比如遊戲、路徑導航等...

我想說的是它能區分出哪些是真實的操作，而哪些是我眼球的生理反應么？

我還擔心用這個是不是得破壞眼球本身的一些正常功能，其實顯示器已經夠讓我擔心的了

提出的實際上是指「視線追蹤」吧，這個目前即使能做，精度我估計不高，用於準確度要求高的代替輸入，恐怕體驗不會太好，而且脖子和眼睛都受不了；

倒是可以考慮在一些準確度不高，大致定位，而且不需要頻繁移動的場合，比如視頻會議和虛擬交流中？

幾個想法：

1）可用於更加精準地獲取用戶視覺的關注點（視覺停留點，時間，視線移動路徑），這對於所呈現內容的布局優化/個性化會帶來好處。

2）對於殘障人士可配合其他動作（單眨眼，雙眨眼，閉眼......）實現輸入功能；

3）除了眼球追蹤以外，還可以考慮面部表情分析，嘴型，頭部動作等；

我隨意yy吧。。。

眼睛是心靈的窗戶，看到任何東西，然後意念一把，想讓他幹嘛就幹嘛

我希望的功能：

1、定義眼球操作宏；

2、用眼球操作電腦，ipad，完全取代滑鼠；

3、我見即我得，把我看到的顯示內容保存起來，能轉成我能編輯的格式更好；

4、遊戲我不愛玩兒，談不出需求，但肯定會有；

5、根據眼睛看到的東西進行查詢，不需要任何其他輸入。

6、能達到寫東西的境界呢？

7、把眼睛與網站、郵箱、即時通訊，帳戶等需要密碼輸入的功能結合在一起。我看，我登陸。她看，她登陸。用視覺保障帳戶安全。

先這些，再想想我。