嵌入式、深度學習和計算機視覺

前言：公司最近引入了新設備，這兩天我做了一些背景研究和前景預測，寫出來跟大家分享一下。說句題外話，之前提到過，非常歡迎大家分享廣涵的原創文章，但是商業轉載需要聯繫我取得授權。最近發現《微頭條》把我的公眾號(廣涵部落閣，guanghan-blog)和文章轉載了，雖然沒有聯繫我，但是至少標註了來源和公眾號二維碼。而某些網站（暫不點名），同樣是未經許可進行轉載，卻連文章來源都沒有。如若故技重施，或採取法律手段。希望今後這些網站的運營者能夠尊重原創作者的知識產權。1. 關於背景——什麼是Jetson TX1？它是一個裝有GPU的系統級晶元，可以嵌入在移動設備上。利用GPU強大的運算能力，可以利用到人工智慧（artificial intelligence）領域最先進的演算法——深度學習（deep learning）。開發者套件11月16日才發售，我們也剛剛拿到手不久。開發者套件的零售定價為 599 美元，學生價格為 299 美元。獨立模塊版本則定價 299 美元，2016年首季度發貨。下面圖片展示的是開發者套件。

公司配置的新玩具——繼TitanX之後，又祭出一件神器：Jetson TX1 development kit。果然有時候公司比實驗室更有資源之優勢。這個開發者套件是開箱即用的，自帶ubuntu14.04的操作系統，只需簡單幾行命令就可以set up。安裝JetPack (Jetson Development Pack)之後，就有了所有需要的東西：CUDAcuDNN （Nvidia CUDA Deep Neural Network Library，是經過CUDA加速的深度學習庫）Opencv4Tegra （from Opencv community，一般是做實驗時快速實現用，此版本是針對Tegra開發板的優化版）VisionWorks（ from Nvidia，是production的工業級工具，可以直接投入應用）OpenVX（from Khronos，是計算機視覺應用跨平台加速的標準）

VisionWorks把CUDA和OpenVX封裝好，把OpenVX經過CUDA進行GPU運算的優化。而OpenVX具有跨平台特性，所以開發者在編寫代碼時相當」舒適「。其中，VisionWorks官方給出了兩個workshop的視頻，可以幫我們初步了解它。workshop視頻1：introductionworkshop視頻2：simple CV tasks with Vision Works

OpenVX似乎優勢明顯，雖然作為一個研究者，平時更多地是接觸opencv。2.關於前景——Jetson TX1能帶來什麼革命 ：未來機器人、遙控無人機、監控攝像頭、智能汽車都將獲得突破。機器人可以進行人臉核實（face verification）、物體識別（object detection and recognition）、場景識別（scene recognition）、動作識別（action recognition）等等，更好地與人進行交互。無人機在鳥瞰的視角可以進行動態移動物體的檢測和監控。監控攝像頭可以掃描人群，進行人臉識別（face recognition），同時進行異常行為檢測（abnormal activity detection）和暴力場景檢測（violence scene detection）等等。智能汽車可以通過車載攝像頭獲取一個或多個視頻錄製的街景信息，經過分析綜合，實現場景文字識別（scene text detection and recognition），分析路牌店名等。可以結合GPS進行更深層次的信息挖掘（data mining）。還可以利用基於深度學習（deep learning）的計算機視覺（computer vision）演算法和其他感測器（sensor）的信息融合（information fusion）實現更棒的自動駕駛。官方給出了一些初步成功案例，印證了我的期待，比如social robot JOBO，還有遙控無人機Kespy.除此之外，我預言體育實況轉播也將獲得突破。與增強現實（AR）結合起來，更直觀地表現內容。在這個網頁中，Viz Libero展示了目前可以做到的頂尖水準，但它仍然需要專業的人工干預。我預測，未來或許會提供虛擬現實（VR）的賽事轉播，使得用戶戴上虛擬現實設備，能夠獲得現場觀眾的視角，像在現場一樣可以左顧右盼，和現場其他球迷一樣為自己鍾愛的球隊歡呼。更進一步，VIP用戶可以在某個精彩進球回放時，通過無人機的錄製畫面，獲取球員視角，從主觀視角（egocentric view）來」體驗「進球的快感。應用在體育教學領域，可以成為更好的教學工具。當然，類似地，也可以成為體育教練更好地講解分析的工具。有些公司（比如，VRSE）已經推出了手機和平板電腦上的虛擬現實（VR）app，讓我們可以初探究竟。身臨其境的演唱會，視頻遊戲，這些領域最先引起了產業界的重視。雖然目前的state-of-the-art還不能達到我期待的水準，但不久的未來一定會成為現實。很高興我是其中眾多研究人員中的一個。當這些都能成為現實的時候，希望我個人的商業計劃也可以在那時部署實施。（因為是前所未有的東西，所以暫且賣個長遠的關子）對未來充滿期待！寧廣涵2015年12月2日分享
推薦閱讀：