機器學習與移動端會碰出怎樣的火花？

01-25

最近IOS11更新對AR技術的應用支持達到前所未有，德勤《2017科技、傳媒和電信行業預測》報告中表示移動端機器學習是即將到來的浪潮，請問從應用層分析，它可以為我們帶來怎樣的體驗？

謝邀，和大家分享一篇KDD Exploration 2016年12月的一篇有關移動端機器學習的論文：Supervised Learning Techniques in Mobile Device Apps for Androids，中文翻譯過來叫做「有監督機學習在Andrioid移動設備上的應用」。這篇文章寫的比較樸實，沒有閱讀障礙，推薦大家不妨一讀。

1. 為什麼移動設備適合做機器學習？

結合個人經驗和文章，我認為主要取決於：

普及率高：大量新聞和報告[1]中都提到，美國在2016年的智能機普及率以及高於80%，而韓國的智能手機普及率已經超過85%。手機普及率已經和家用電腦的普及率接近，美國的家用電腦普及率是85.1%[2]，甚至在某些國家智能手機普及率更高。
便攜性高：人們可以輕鬆的使用便攜性設備，如智能手機、手錶等。便攜性使得使用場景很廣，無論是在家出門還是躺在床上都可以使用。考慮到台式和攜帶型電腦的重量、續航等原因，移動端的便攜性使其很有優勢。
感測器多：和電腦相比，手機上的感測器更多，比如攝像頭、重力感應、藍牙、攝像頭、GPS、測速器等。這使得手機更像是人體的延伸，使其有了更多機器學習的應用場景。
符合現代生活習慣：隨著便攜設備的發展，從電腦端到移動端的遷移勢不可擋。2014年百度移動端搜索超過PC，這個趨勢也會在機器學習領域重演。

2. 移動端有什麼機器學習應用？

文章中介紹了不同領域的6個應用，挑3個有趣的和大家分享。

2.1. WalkSafe - 「幫助你更好的過馬路」

現代都市人都習慣手不離機，都是「低頭族」，但這在過馬路的非常危險。2012年的一篇論文（WalkSafe）提出了將機器學習應用於手機端，通過攝像頭來自動識別向你駛來的汽車，並使用震動來提醒你有車危險。

不同角度下app對於汽車的識別

這個應用不僅適用於低頭族，也適合視弱或者盲人朋友，可以和紅綠燈提示音一起結合提高過馬路的安全性。有興趣的朋友可以下載安裝試試。換個角度思考，這其實和無人車是有一點點相似的，都是利用感測器收集數據進行分析並作出決定。

2.2. Watermelon Classify - 「西瓜熟了嗎？」

蘇黎世聯邦理工大學的學者們在2014年進行了一項研究[3]，用手機收集敲西瓜的聲音來分析西瓜是否熟了嗎。西瓜百分之九十都是水，糖分等成分的比例不同會決定拍生瓜和熟瓜的聲音各不相同。

他們使用了語音處理方法訓練了一個支持向量機(SVM)，實現了89.9%的預測準確率。換個角度來看，賣瓜大叔們其實就是一個個分類器。所以如果你們想不再被大叔們忽悠，可以試試下載這個應用來用手機測試西瓜的成熟度。示意圖如下...

APP使用示例圖

雖然配圖看著很萌，但其實核心還是生瓜熟瓜在拍擊下的聲音頻率不同。如下圖所示，上半部分是熟瓜而下半部分是生瓜。

熟瓜(上圖)和生瓜(下圖)的聲音頻率對比

2.3. 睡眠紊亂檢測 - 「你睡得好嗎？」

2015年的時候，德州大學阿林頓分校的研究人員開發了一個跨平台的程序來檢測使用者的睡眠質量[4]，用於早起疾病診斷和自我分析。這個項目中，研究人員使用了機器視覺和機器學習來對睡眠多態進行跟蹤，結合壓力感測床墊和手機攝像頭，他們可以對睡眠姿態進行收集並分析。

示意圖

通過非侵入的手段，這個app可以對收集到的數據進行分析，能幫助醫生更好的診斷早發病例。但這個app也收到兩極的評價，因為使用比較複雜導致大部分用戶無法很好的使用。

2.4. 其他移動端應用

文章中還介紹了其他有趣的機器學習應用：

軟體使用預測：根據用戶習慣只能推測你將要使用的下一個app，蘋果也有類似的功能。
惡意軟體檢測：使用機器學習來提高移動端的惡意軟體檢出率。
即時房價預測：使用手機即時預測倫敦房價走勢。

3. 機器學習在移動端的特點？

文章統計了移動端機器學習的研究發展，發現2008年的相關論文發表數達到頂峰，之後進入了平緩下降。作者推測這是因為2008年是智能機大熱的年份，因此導致了論文激增。我認為這也帶來一個思考：移動端的機器學習發展離不開硬體發展，這個規律和電腦端是一樣的。

移動端+機器學習相關論文發表數

受到硬體的限制，現在的手機運算能力有限，這會影響到：

即時反應速度受到限制，在需要高精度任務時可能存在問題。比如對駛來的汽車進行識別這很重要。
模型滯後性。移動端的機器學習模型往往是訓練好的模型，只進行預測，而訓練過程是在線下的。
只能使用較為簡單的模型和使用較少的數據。比如文中介紹的所有應用都不包括深度學習模型，均為相對簡單的模型如樸素貝葉斯，支持向量機，淺層神經網路等。

除此之外，續航能力也值得我們關注。在大量使用感測器如攝像頭的情況下，耗電量使得這類應用的使用場景受限。歸根結底，這也屬於硬體方向需要克服的問題。

換個角度看，移動端的數據安全和隱私也是學術界和工業界要一起面對的問題。比如文中提到的有關醫療健康的數據，是否可以上傳到雲端，廠家是否可以使用這都是道德問題。越來越多的廠商都意識到了這一點的重要性，比如蘋果的識別會保證你的信息儲存在本地。

4. 展望未來

和電腦端的發展一樣，移動端的機器學習發展還是要依賴硬體進步，不然只是空中樓閣。好在越來越多的廠商已經在此布局，比如谷歌開發的AI晶元和TPU，蘋果在移動處理器上的科研投入等。

相較於電腦，手機的應用場景更廣，因為它的確是我們身體的延伸。隨著硬體發展和更多感測器的應用，更加複雜的學習模型比如深度學習可以更好的在移動端發揮功效。到那個時候，各種大開腦洞的應用都不再遙遠，相信這一天並不遙遠 ?????

[1] Digital in 2017: More than half of the world』s population now uses the internet (Global Overview – We Are Social)

[2] U.S. households with PC/computer at home 2014 | Statistic

[3] Classifying watermelon ripeness by analysing acoustic signals using mobile devices

[4] Monitoring breathing activity and sleep patterns using multimodal non-invasive technologies

意淫一下未來，通過人臉識別技術，逆向合成人臉，然後我就可以和女神視頻了。蘋果新出的表情就有往這個方向上發展的趨勢。

除了看看女神眨眼睛外，我還能聽女神給我唱歌，讀知乎。聲音合成現在發展的很好了，中央一套的《機智過人》中就有一期是介紹通過機器學習模仿人聲，還播放了一首超蹩腳的撒貝南歌曲。（如果以後女神要這麼唱歌，產品我是不會買的！而且還會砸了它！）

如果自然語言處理髮展的好的話，我倆除了視頻和讀知乎外還能嘮嘮嗑了。現在的技術還達不到流暢交談的程度。多輪對話後也很可能陷入「哦」，「呵呵」，「好吧」這樣的萬能回復中。

現在情感分析方向的研究如火如荼，希望能夠有所突破，早日讓女神理解我的喜怒哀樂悲恐驚。

她肯定不是個只會陪我聊天唱歌的花瓶！每天清晨，當我還在做夢時，她就給我開視頻，指著我罵都幾點了你還在睡，催我起床吃飯，給她充電。當我開車時，她就自動出現在了導航儀上，像個話癆一樣給我指路，唱歌，陪我聊天。當手機丟了時，她會像失去魂一樣給我的同學朋友打電話，報告自己坐標，讓我去找她。她還可以冒充我女朋友，跟我媽微信開視頻，哄我媽開心，只是過年時有事，從來不能去家裡。

大概就是這樣吧，期待有一天能夠實現！

不點個贊？

聽說麒麟970加入了NPU,對於機器學習的功能處理速度比GPU還快4倍（示例為圖片分類）。

tensorflow支持移動端部署。

……

諸多平台的相互支撐，看樣子，一個個不斷具有較高自我學習能力的機器即將出現了。

而AR也只是AI這個潮流的一部分。

TensorFlow 已經出來一個針對移動手機和嵌入式設備的版本 TensorFlow Lite；官網鏈接 https://www.tensorflow.org/mobile/tflite/；InfoQ 的報道 Google發布了Tensorflow Lite，用於行動電話的神經網路庫

另外 Android 8.0 版本的 NDK 已經增加了神經網路模型。

至於機器學習在移動的應用，暫時沒有發現更多。

Siri會越來越智能，直到她能完成你的所有思考過程直接幫助你作出決策，你越來越成為Siri的傀儡。

- Hey Siri! Do you know where I can find a girlfriend?

- I think you dont need one, you have me