AI研發乾貨 | 2018第五彈 | 03.25-04.01 | 增強學習、TensorFlow更新、YOLO V3…

05-10

點擊藍色字體，關註：九三智能控

課程及書籍

中科院計算機所研究員陳雲霽授課主題為「深度學習處理器的現狀及發展」，分享了深度學習的工作方式、深度學習處理器的發展、寒武紀目前的科研成果等相關內容。陳雲霽，中科院計算所智能處理器研究中心主任。14歲就讀於中科大少年班，24歲博士畢業於中科院計算所，29歲起任中科院計算機所研究員（正教授）、博導。目前是中科院計算所智能處理器研究中心主任，中國科學院腦科學卓越中心特聘研究員，以及中國科學院大學崗位教授。他帶領其團隊研製了國際上首個深度學習處理器晶元寒武紀，被MIT技術評論評為全球35位傑出青年創新者（2015年度）。

課程視頻鏈接：https://c.m.163.com/news/l/175243.html

加拿大阿爾伯塔大學著名增強學習大師 Richard S. Sutton 教授的經典教材《增強學習導論》（Reinforcement Learning: An Introduction）第二版近期更新，現書稿的草稿在其主頁提供，新智元編譯圖書的目錄部分，全書（英文版 draft）可在新智元公眾號下載。本書系統性地介紹了增強學習，共548頁，其中不乏許多新穎的應用案例分析。

全書（第一版、第二版）下載，請在公眾號回復：20180401

3月28日起，雷鋒字幕組聯合AI慕課學院將推出3期以「斯坦福深度視覺識別課CS231n」為主題的Live實戰分享課。（原創代碼+論文解讀+場景應用+實用套路）活動邀請到來自CHISON 醫學影像、BIGO LIVE、某金融科技的3位資深演算法工程師，分享他們的視覺識別實戰經驗。

課程詳情：https://www.leiphone.com/news/201803/fU5YwEOeKPw29LZf.html

Github項目

以「快到沒朋友」著稱的流行目標檢測模型YOLO推出全新v3版，新版本又雙叒叕提升了精度和速度。在實現相近性能時，YOLOv3比SSD速度提高3倍，比RetinaNet速度提高近4倍。對於320x320的圖像，YOLOv3的檢測速度可達22ms，mAP值可達28.2，與SSD的準確率相當但速度快3倍。

論文下載地址：https://pjreddie.com/media/files/papers/YOLOv3.pdf
項目地址：https://pjreddie.com/darknet/yolo/
相關代碼：https://github.com/pjreddie/darknet

TensorFlow宣布重大更新：增加支持JavaScript，並推出開源庫TensorFlow.js，用戶可以完全在瀏覽器定義、訓練和運行機器學習模型。谷歌大腦負責人Jeff Dean、TensorFlow 總監 Rajat Monga等人進行了Keynote演講。Daniel Smilkov和Nikhil Thorat演示了如何使用計算機視覺和網路攝像頭訓練模型來控制PAC-MAN遊戲，這是完全在瀏覽器進行的。同期，谷歌和英偉達宣布將 NVIDIA TensorRT 集成到 TensorFlow 1.7 中。在谷歌開發者博客中，他們介紹了此次合作的詳細信息以及整合之後的性能。

Demo：https://storage.googleapis.com/tfjs-examples/webcam-transfer-learning/dist/index.html
Github代碼：https://github.com/tensorflow/tfjs-examples
Github代碼：https://github.com/tensorflow/tensorflow/tree/r1.7/tensorflow/contrib/tensorrt

Linux 基金會宣布 LF 深度學習基金會（LF Deep Learning）成立。據了解，該基金會將專註於支持和維護在人工智慧領域的開源創新，努力實現為全世界開發人員和數據科學家提供關鍵性新技術的目標。LF 深度學習基金會將同時推出一個名為 Acumos AI 的種子項目，該項目是一個開發和共享 AI 模型和搭建 AI 工作流的平台，初始代碼由 AT＆T 和 Tech Mahindra 提供。騰訊計劃將開源的 Angel 項目貢獻給 LF 深度學習基金會。Angel 開源項目是一個高性能分散式機器學習平台，適用于海量數據、高維度模型計算。Angel 可以輕鬆處理 TB 級別的數據和十億維度的主題模型，具有廣泛適應性和穩定性。

Angel Github：https://github.com/Tencent/angel

LF Deep Learning：https://deeplearning.linuxfoundation.org

微軟提出深度學習框架的通用語言——repo1.0，號稱希望通過構建這一深度學習框架「Rosetta Stone（羅塞塔石碑）」，讓研究者們能夠在不同框架之間輕鬆運用專業知識。他們在博客中講解了基準深度學習框架的訓練結果和相應的經驗教訓。

Github代碼：https://github.com/ilkarman/DeepLearningFrameworks

論文

CMU和谷歌在CVPR 2018發表論文《Iterative Visual Reasoning Beyond Convolutions》，提出了一種新的迭代視覺推理框架。該框架超越了目前只具備卷積堆棧推理能力的識別系統。該框架由兩個核心模塊組成：一個是局部模塊，使用空間記憶以並行更新的方式存儲以前的信念；另一個是全局圖形推理模塊。與普通 ConvNets 相比，我們的框架性能顯著增強，例如，按每級平均精度衡量，我們可以在 ADE 上實現 8.4 % 的絕對改進。分析還表明，該框架對缺失區域具有較強的推理能力。

論文傳送門：https://arxiv.org/abs/1803.11189

另，一作陳鑫磊博士論文地址：http://xinleic.xyz/papers/thesis.pdf

DeepMind給出了一個強化學習的方法。通過給強化學習演算法設定報酬函數，反覆調整演算法參數，使得報酬最大，DeepMind的AI完全自學地學會了繪畫。重要的是，這個框架是可解釋的，因為它生成的是一系列控制虛擬畫筆的動作。這意味著在類似的其他環境中，模型可以利用從模擬繪畫程序中學到的模式再創造字元。

論文傳送門：https://deepmind.com/documents/183/SPIRAL.pdf
博客傳送門：https://deepmind.com/blog/learning-to-generate-images/

哥倫比亞大學博士生Oscar Chang發表論文，通過模仿生物的繁衍過程來觀察人工智慧是否能持續地自體複製。科研人員將他們的工作與一種可以學習如何生成源代碼的副本的計算機程序quines相比較。然而，在神經網路中，被克隆的是網路的權重而非源代碼，因為權重才決定了不同節點之間的網路連接值。

論文傳送門：https://arxiv.org/pdf/1803.05859.pdf

谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber（他也是 LSTM 的提出者）共同提出的「世界模型」可以讓人工智慧在「夢境」中對外部環境的未來狀態進行預測，大幅提高完成任務的效率。這篇論文一經提出便吸引了人們的熱烈討論。

論文在線交互地址：https://worldmodels.github.io/

阿里機器翻譯團隊和 PAI 團隊發表博文，闡述將 TVM 引入 TensorFlow，可以帶來至少 13 倍的 batch 矩陣相乘（matmul）加速。目前，我們將 Transformer作為 NMT 系統的核心組成。相較於傳統基於 RNN/LSTM 的方法，它更適合於高效的離線訓練，有著相同或更高的精度。

論文傳送門：https://arxiv.org/pdf/1706.03762.pdf

阿里巴巴 AI Lab 與微軟研究院、伊利諾伊大學厄巴納-香檳分校的合作論文CoLink：知識圖譜實體鏈接無監督學習框架，將幾個子知識圖譜上的同一實體信息鏈接在一起（也被稱為用戶身份鏈接（UIL）問題）對很多應用而言都至關重要。實體鏈接問題有兩大主要難點。

論文下載地址：https://102.alibaba.com/downloadFile.do?file=1518508273059/CoLink%20An%20Unsupervised%20Framework%20for%20User%20Identity%20Linkage.pdf

其他

谷歌大腦團隊希望用類似於 AutoML 發現新神經網路架構的方法，探索自動發現新優化器的實現。他們發現了多種性能優異的優化器，並已將其開源。在《Neural Optimizer Search with Reinforcement Learning》中，谷歌提出了一種發現優化方法的方法，其優化重點是深度學習架構。谷歌使用這種方法發現了兩個新的優化器——PowerSign 和 AddSign，它們在各種不同的任務和架構中頗具競爭力，包括 ImageNet 分類器和谷歌的神經機器翻譯系統。為了幫助其他人從這項工作中受益，谷歌已在 Tensorflow 將該優化器開源。

開源地址（TensorFlow）：https://www.tensorflow.org/api_docs/python/tf/contrib/opt

信息來源：雷鋒網、億歐網、新智元、機器之心、量子位等；

微信群&交流合作

加入微信群：不定期分享資料，拓展行業人脈請在公眾號留言：「微信號+名字+研究領域/專業/學校/公司」，我們將很快與您聯繫。
投稿（無稿費）、交流合作請留言聯繫。

http://weixin.qq.com/r/AC91bd-EloLprZsO93oS (二維碼自動識別)