AI乾貨資源 | 2018第八彈(04.14-04.20)| Hinton在線蒸餾、ICLR 2018最佳論文…
更多AI資訊,關注微信公眾號:九三智能控
麥肯錫最新AI報告全文下載,公眾號回復:20180421學術會議、課程、書籍、綜述ICASSP 2018 (International Conference on Acoustics, Speech and Signal Processing,國際聲學、語音與信號處理會議)正會已於當地時間 4 月 17 日在加拿大卡爾加里(Calgary)開幕。ICASSP 2018 共收到 2830 篇論文投稿,接收論文 1406 篇,接收率 49.7%。其中 36 篇論文會刊載在《IEEE Signal Processing Letters》期刊上。IEEE(電氣和電子工程師協會)主辦的 ICASSP是信號處理及其應用方面最大、最具影響力的學術會議,會議內容涵蓋了音頻和聲學信號處理、生物影像和信號處理、信號處理系統的設計和實現、圖像視頻和多維信號處理、信息取證和安全、工業 DSP 技術、多媒體信號處理、感測器矩陣和多通道信號處理等多達二十個方向。來自中國科學技術大學的施偉(博士生)等人合著的《On the Linear Convergence of the ADMM in Decentralized Consensus Optimization》獲得 Young Author Best Paper Award(青年作者最佳論文獎)。新加坡國立大學張瑞教授為通訊作者的兩篇論文《Multiuser MISO Beamforming for Simultaneous Wireless Information and Power Transfer》和《An Overview of Massive MIMO: Benefits and Challenges》也分獲青年作者最佳論文獎和綜述論文獎。全國社會媒體處理大會(SMP)由中國中文信息學會社會媒體處理專委會主辦,專註於以社會媒體處理為主題的科學研究與工程開發。第七屆全國社會媒體處理大會(SMP 2018)將於8月2日至4日在哈爾濱召開。本屆會議將並行舉辦三個技術評測競賽單元:
- 用戶畫像技術評測(The Evaluation of User Profiling Technology,SMP-EUPT)
- 中文人機對話技術評測(The Evaluation of Chinese Human-Computer Dialogue Technology,SMP-ECDT)
- 文本溯源技術評測(The Evaluation of Text Sourcing Technology,SMP-ETST)
參賽入口:http://smp2018.cips-smp.org/smpcup.html猿輔導MSMARCO冠軍團隊負責人柳景明講座:用MARS模型解決機器閱讀任務。為大家詳細講解了RACE,SQUAD,MSMARCO等主要閱讀理解任務,重點拆解MARS網路模型,簡明扼要地教大家動手用MARS網路模型解決MSMARCO機器閱讀任務。
傳送門:https://mp.weixin.qq.com/s/nL5T3j09Elp6uziNmePIMgThinker (AI 晶元) 團隊深度學習平台負責人周鵬程分享了目前主流的分散式異構計算特性,區別和應用,並且介紹了如何讓當前流行的大數據分析引擎(如:Spark)從 AI 晶元的強大計算能力中獲益。視頻回放:http://www.mooc.ai/open/course/479
文字地址:https://www.leiphone.com/news/201804/YNCcw6Iw5atUDHu0.htm論文&代碼Large scale distributed neural network training through online distillation,Geoffrey Hinton等人論文提出的第一個主張是:在線蒸餾(online distillation)使我們能夠使用額外的並行性來適應非常大的數據集,並且速度提高一倍。更重要的是,即使我們已經達到額外的並行性對同步或非同步隨機梯度下降沒有好處的程度,我們仍然可以加快訓練速度。在不相交的數據子集上訓練的兩個神經網路可以通過鼓勵每個模型同意另一個模型的預測來共享知識。這些預測可能來自另一個模型的舊版本,因此可以使用很少被傳輸的權重來安全地計算它們。第二個主張是:online distillation是一種成本效益高的方法,可以使模型的精確預測更具可重複性。研究者通過在Criteo Display Ad Challenge數據集,ImageNet和用於神經語言建模的最大數據集(包含6×1011個tokens)上進行實驗,支持了提出的這些主張。論文地址:https://arxiv.org/pdf/1804.03235.pdfICLR 2018最佳論文:Continuous adaptation via meta-learning in nonstationary and competitive environments,基於梯度的元學習演算法,可高效適應非平穩環境摘要:在非平穩環境中根據有限的經驗連續地學習和適應對於發展通用人工智慧而言至關重要。在本文中,我們將連續適應的問題在 learning-to-learn 框架中重構。我們開發了一種簡單的基於梯度的元學習演算法,該演算法適用於動態變化和對抗性的場景。此外,我們還設計了一種新的多智能體競爭環境 RoboSumo,並定義了迭代適應的遊戲,用於測試連續適應的多個層面。研究表明,在少樣本機制下,相比反應性的基線演算法,通過元學習可以得到明顯更加高效的適應性智能體。對智能體集群的學習和競爭實驗表明元學習是最合適的方法。
論文地址:https://openreview.net/pdf?id=Sk2u1g-0-Motion Segmentation by Exploiting Complementary Geometric Models(利用互補幾何模型的運動分割)摘要:許多現實世界的場景不能簡單的被歸類為普通的或者退化的;在這種情況之下,在處理運動分割問題按二分法選擇利用基礎矩陣或者單應性矩陣時,錯誤的選擇會造成困難。即使是處理一般的運動場景,使用基礎矩陣方法作為模型來處理運動分割問題仍然有其弊端,這些我們在文中都提到了。基礎矩陣方法的全部潛力只有當我們小心地利用較為簡單的單應性模型的信息時才能實現。考慮到這些,我們提出了一個結合了多種模型的多視角光譜聚類的框架。通過對現有的運動分割數據進行了廣泛的測試,我們獲得了最好的實驗結果;我們還提出了一個改編自 KITTI 基準的更加現實和具有挑戰性的數據集,它包括了現實世界的一些效應例如強烈透視和強前向平移,這些都是傳統數據集所沒有的。論文地址: https://arxiv.org/abs/1804.02142CVPR 2018 Spotlight論文:Video Based Reconstruction of 3D People Models,單攝像頭數秒構建3D人體模型摘要:本論文描述了如何為單個單目視頻中的移動人體做準確的 3D 建模。基於參數化的人體模型,我們提出了穩健的處理流程,即使是對穿衣服的人群也能夠獲得 5mm 解析度的 3D 模型。我們的主要貢獻是提出的這種方法可根據動態人體輪廓,柔性地變形輪廓錐體外形,得到共同參考幀中的視覺軀殼,用於重構人體表面。這種方法可有效地評估基於大量畫面幀的 3D 外形、紋理和植入式的動畫骨架。我們展示了對大量主體的評估結果,並分析了整體表現。只需要一個智能手機或者攝像頭,我們的方法就能讓每個人都創造自己的全動畫數字孿生體,並可應用到社交 VR 或者在線時裝購物的虛擬試穿。
論文鏈接:https://arxiv.org/abs/1803.04758NAACL2018 傑出論文:Recurrent Neural Networks as Weighted Language Recognizers(使用循環神經網路作為加權語言識別器)摘要:我們探索了不同問題下用於識別加權語言的循環神經網路形式模型的計算複雜度。我們主要關注被廣泛使用於自然語言處理任務中的單層的、使用 ReLU 作為激活函數的、被合理分配權重且帶有 softmax 層的循環神經網路。我們的工作表明,大多數類似的循環神經網路中存在的問題都是不可判定的,包括:一致性、等價性、最小化和最高權重字元串的確定。然而,對於連續一致的循環神經網路來說,儘管解決方案的長度會超過所有計算能力的上限,最後一個問題是可判定的。如果我們把字元串限定在多項式的長度,那麼這個問題就可以變成 NP 完全 和 APX-hard 問題。總的來說,這說明在這些循環神經網路的實際應用中,近似和啟發式的演算法是很有必要的。論文地址:https://arxiv.org/pdf/1711.05408.pdfUber AI論文:Differentiable plasticity: training plastic neural networks with backpropagation(可微可塑性:利用反向傳播訓練可塑神經網路)摘要:我們怎樣才能訓練出能在初始訓練之後利用經驗持續快速高效學習的智能體呢?這裡我們得到了生物大腦主要學習機制的啟發:經過精巧進化得到的,能使生物終身高效學習的神經可塑性。我們發現,就如同連接權重,神經可塑性可以通過赫布可塑連接的大型(數百萬個參數)循環網路的梯度下降來優化。首先,擁有超過二百萬參數的循環可塑網路通過訓練可以記憶和重建新的、高維度的(1000+像素)之前訓練時沒見過的自然圖像。最重要的是,傳統的非可塑循環網路不能解決這種問題。此外,經過訓練的可塑網路可以解決常見的元學習問題諸如 Omniglot 任務,其結果十分優秀並且參數開銷也很小。最後,在強化學習領域,可塑網路處理迷宮探索任務的表現優於非可塑的網路。我們得出結論,可微可塑性有望為元學習問題提供新的高效方法。論文地址:https://arxiv.org/pdf/1804.02464.pdf
Structure-measure: A new way to evaluate foreground maps天津南開大學媒體計算實驗室、美國中佛羅里達大學機構的聯合研究團隊從人類視覺系統對場景結構非常敏感的角度出發,提出基於區域(Region-aware)和基於對象(Object-aware)的結構性度量 (S-measure) 方法來評估非二進位前景圖,進而使得評估更加可靠。該方法在5個基準數據集上採用5個元度量證明了新度量方法遠遠優於已有的度量方法,並且和人的主觀評價具有高度一致性(77%Ours VS. 23%AUC)。論文源碼及相關資源:http://dpfan.net/smeasure/CoT:Cooperative Training for Generative Modeling上海交通大學APEX實驗室研究團隊提出合作訓練(Cooperative Training),通過交替訓練生成器(G)和調和器(M),無需任何預訓練即可穩定地降低當前分布與目標分布的JS散度,且在生成性能和預測性能上都超越了以往的演算法。對於離散序列建模任務來說,該演算法無需改動模型的網路結構,同時計算代價較理想,是一種普適的高效演算法。論文地址:https://arxiv.org/pdf/1804.03782.pdfGitHub:https://github.com/desire2020/Cooperative-TrainingC
A Mathematical Framework for Superintelligent Machines(超級智能機器的數學框架)我們描述了一種可以描述和改進它自己的學習過程的類微積分。它可以根據其以前學習的程序的本體來設計和調試滿足給定輸入/輸出約束的程序。它可以通過檢查機器人激勵的實際結果來改進它自己的模型。例如,它可以通過檢查一次車禍的黑盒來確定車禍原因:是否可能是由於電氣故障,電子門卡,暗冰,或其他一些必須添加到本體中的可能性,用於在未來預防此類事故的發生。類代數基本上定義了等價類的剩餘布爾代數與類代數類型表達式的超/子類之間的eval / eval-1Galois連接,以及雙余關係的殘差Boolean代數。基於一種被認為是產生了一組獨特的Karnagugh的簡化演算法,它區分了哪些公式是等價的或者是不相關的,這裡的Karnagugh圖描述了最大bicliques關係的大致的集合。這樣的圖將一個最多包含n個命題的2n-1個連接的n維空間分割為閉開的因果集(即一組封閉的區域及其邊界)。利用相對頻率作為概率,將該類代數推廣到type-2模糊類代數。它也被推廣到涉及改變程序狀態賦值的一類演算。論文:https://arxiv.org/ftp/arxiv/papers/1804/1804.03301.pdfMultimodal Unsupervised Image-to-Image Translation提出了一種多模態無監督的圖像到圖像轉換問題的標準框架。研究人員首先假設圖像的潛在空間能夠分解為內容空間和樣式空間,之後再進一步假設,不同領域的圖像內容空間相同,但樣式空間不同。研究人員提出了一種多模態無監督的圖像到圖像(image to image)轉換框架。這個框架的神奇之處在於,一張貓的圖像可以同時轉換成多種動物,能夠進行一對多的圖像轉換,打破了原來一對一轉換的限制。論文地址:https://arxiv.org/abs/1804.04732
代碼和預訓練模型獲取地址:https://github.com/nvlabs/MUNItAn Augmented Reality Microscope for Real-time Automated Detection of Cancer谷歌大腦團隊提出了一個AR顯微鏡的原型。首先,目鏡的圖像會傳給帶深度學習模型的計算單元。然後AI模型將分析結果實時投到目鏡的視野里。目前,谷歌大腦團隊已經成功地在這套AI+AR顯微鏡平台原型系統里運行了兩套不同的癌症檢測演算法。一個是看淋巴結組織有沒有乳腺癌細胞;另外一個,是找前列腺組織里的癌變區域。論文:http://sina.lt/fzhr谷歌大腦的快速找出基因突變位點的深度學習模型DeepVariant發布0.6.0版用圖像識別的思路來精準定位出基因序列中突變的位點。比起之前的第一版,新版在準確率上會有重大的提升。針對兩個典型的測序場景——全外顯子組測序,PCR,谷歌大腦團隊作出了特定的優化。下面介紹一下DeepVariant相應的訓練過程。項目地址:https://github.com/google/deepvariant/issues最新版DeepVariant更新說明:https://github.com/google/deepvariant/releases/tag/v0.6.0An Efficient and Provable Approach for Mixture Proportion Estimation Using Linear Independence Assumption為了研究混合分布中各個組成分別的比例係數,假設各個組成分布滿足線性獨立的假設(即不存在一種組合係數,使得這些組成分布的線性組合所得到的分布函數處處為0),並且假設每個組成分布中都可以採樣到少量的數據。首先論證了組成分布線性獨立(組成分布不相同即可)的假設要弱於現有的估計其比例方法的各種假設。其次,提出先將各個分布嵌入到再生核Hilbert空間,再利用最大平均差異的方法求取各組成分布的比例係數。該方法能夠(1)保證比例係數的唯一性和可識別性;(2)保證估計的比例係數能夠收斂到最優解,而且收斂率不依賴於數據本身;(3) 通過求解一個簡單的二次規劃問題來快速獲取比例係數。這項研究擁有廣泛的應用背景,比如含有雜訊標籤的學習,半監督學習等等。Deep Ordinal Regression Network for Monocular Depth Estimation在3D視覺感知主題里,單目圖像深度估計是一個重要並且艱難的任務。雖然目前的方法已經取得了一些不錯的成績,但是這些方法普遍忽略了深度間固有的有序關係。針對這一問題,我們提出在模型中引入排序機制來幫助更準確地估計圖像的深度信息。具體來說,我們首先將真值深度(ground-truth depth)按照區間遞增的方法預分為許多深度子區間;然後設計了一個像素到像素的有序回歸(ordinal regression)損失函數來模擬這些深度子區間的有序關係。在網路結構方面,不同於傳統的編碼解碼 (encoder-decoder)深度估計網路, 我們採用洞卷積 (dilated convolution)型網路來更好地提取多尺度特徵和獲取高解析度深度圖。另外,我們借鑒全局池化和全連接操作,提出了一個有效的全局信息學習器。我們的方法在KITTI,NYUV2和Make3D三個數據集上都實現了當前最佳的結果。並且在KITTI新開的測試伺服器上取得了比官方baseline高出30%~70%的分數。Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval由於深度學習的成功,最近跨模態檢索獲得了顯著發展。但是,仍然存在一個關鍵的瓶頸,即如何縮小多模態之間的模態差異,進一步提高檢索精度。本文提出了一種自我監督對抗哈希(SSAH)方法。這種將對抗學習以自我監督的方式引入跨模態哈希研究,目前還處於研究早期。這項工作的主要貢獻是採用了一組對抗網路來最大化不同模態之間的語義相關性和表示一致性。另外,作者還設計了一個自我監督的語義網路,這個網路針對多標籤信息進一步挖掘高層語義信息,使用得到的語義信息作為監督來指導不同模態的特徵學習過程,以此,模態間的相似關係可以同時在共同語義空間和海明空間兩個空間內得以保持,有效地減小了模態之間的差異,進而產生精確的哈希碼,提高檢索精度。在三個基準數據集上進行的大量實驗表明所提出的 SSAH 優於最先進的方法。Geometry-Aware Scene Text Detection with Instance Transformation Network自然場景文字識別由於其文字外形、布局十分多變,是計算機視覺中具有挑戰性的問題。在本文中,我們提出了幾何感知建模方法(geometry-aware modeling)和端對端學習機制(end-to-end learning scheme)來處理場景文字編碼的問題。我們提出了一種新的實例轉換網路(instance transformation network),使用網內變換嵌入的方法學習幾何感知編碼,從而實現一次通過的文本檢測。新的實例變換網路採用了轉換回歸,文本和非文本分類和坐標回歸的端對端多任務學習策略。基準數據集上的實驗表明了所提方法在多種幾何構型下的有效性。PLASTIC:基於生成對抗網路調節推薦系統里全局和局部信息的互補性, PrioritizeLong and Short-term Information in Top-n Recommendation using AdversarialTraining本文由騰訊知文團隊與中科院深圳先進技術研究院等高校聯合完成。傳統的基於協同過濾的推薦系統是認為用戶偏好和電影屬性都是靜態的,但他們實質是隨著用時間的推移而緩慢變化的。例如,一個電影的受歡迎程度可能由外部事件(如獲得奧斯卡獎)所改變。另一方面,隨著深度學習應用的爆髮式發展,基於深度學習的推薦系統越來越引發大家的關注。循環神經網路(RNN)理論上能夠有效地對用戶偏好和物品屬性的動態性進行建模,基於當前的趨勢,預測來的行為。為了有效地利用傳統協同過濾推薦技術(i.e., 矩陣分解)和深度學習方法(i.e., 循環神經網路)各自的優點,捕獲用戶和電影之間的長期(全局)和短期(局部)關聯,本文主要研究和探索基於生成對抗網路(GAN)調節矩陣分解(Matrix Factorization, MF)和循環神經網路(RNN)在推薦系統上的互補性。基於主題模型和強化學習的文本摘要,A ReinforcedTopic-Aware Convolutional Sequence-to-Sequence Model for Abstractive TextSummarization本文由騰訊知文團隊與蘇黎世聯邦理工學院(ETH)、美國哥倫比亞大學、騰訊 AI lab 聯合完成。自動文本摘要方法一般有兩種類型,分別為提取式和總結式。提取式方法通過選擇重要的文本片段來生成摘要,更具可讀性。總結式方法需要先「理解」文檔,然後再組織並生成文本摘要,更靈活,目前更受關注,但可控制性和相關性有所欠缺。另一方面,近年來廣泛應用的傳統基於 RNN 的文本摘要模型存在 exposure bias 和難以並行化的問題。針對以上問題,該研究工作提出一種基於卷積神經網路的總結式文本摘要生成方法,並結合主題模型的注意力機制,利用強化學習方法進行優化。卷積神經網路具有可並行化的特點,可以提高訓練速度。這是首次將基於主題模型的注意力機制引入自動文本摘要的生成,可以提高摘要結果的信息相關性和多樣性。另一方面,self-critical 強化學習方法的引入使模型可以針對摘要的評價指標進行優化,緩解訓練和預測過程的 exposure bias。基於多任務學習的圖像描述自動生成,A Multi-task LearningApproach for Image Captioning本文由騰訊知文團隊與中科院深圳先進技術研究院、豐田工業大學芝加哥分校(TTIC)等高校聯合完成。傳統的基於編解碼器的圖像描述任務沒有識別和定位多物體的能力,生成的文本經常遇到語言學問題,比如缺少成分、語法錯誤和論點矛盾等。特別是語言學問題,目前的測量方法是無法給出公正評價的。例如,「a group of people standing next to a.「和「agroup of people standing next a fire truck.」兩個句子各項指標的分數差異不顯著,但前者缺少名詞性補語,讓讀者難以理解。本文採用多任務學習方法共享編解碼器,同時提升編碼器對物體的識別能力,以及減少解碼器在生成文本過程中出現的語法錯誤。從離線、線上榜單和人工評測的結果來看,本文提出的方法有不錯的性能表現。其他麥肯錫發布AI分析報告:Notes from the AI frontier: Applications and value of deep learning。包含400個應用案例,橫跨19個行業的9種業務功能。報告重點強調了前沿AI技術的應用範圍之廣,以及經濟潛力之盛,也提到了發展中的一些局限和挑戰。全文下載,公眾號回復:20180421
數據科學入門必讀:如何使用正則表達式?正則表達式對數據處理而言非常重要。近日,Dataquest 博客發布了一篇針對入門級數據科學家的正則表達式介紹文章,通過實際操作詳細闡述了正則表達式的使用方法和一些技巧。傳送門:https://mp.weixin.qq.com/s/sLJfSBQ1orw-Hx-hBxv4PA人工智慧革命尚未發生,機器學習宗師級大牛、加州大學伯克利分校計算機科學與統計學教授 Michael I. Jordan 認為將意義和推理引入自然語言處理系統的必要性,推斷和表示因果關係的必要性,開發計算上易於處理的不確定表示的必要性,以及開發制定並執行長期目標的系統的必要性。 這些都是仿人 AI 的經典目標,但在目前人們對 「AI 革命」 的喧囂中,我們很容易忘記這些問題其實還沒有得到解決。中文傳送門:https://mp.weixin.qq.com/s/Zi3P5KGtzGef9igiZUCwjA原文地址:https://medium.com/@mijordan3/artificial-intelligence-the-revolution-hasnt-happened-yet-5e1d5812e1e7數據科學進階之路:了解數據科學工作,管理數據科學家團隊。分為上下兩篇,來自 Schibsted 多媒體組的數據科學經理 Alex 發佈於 Medium 上的一篇文章,作者結合自身四年的行業經驗,詳細介紹了實際的數據科學工作,以及如何管理好數據科學團隊。上篇傳送門:https://www.leiphone.com/news/201804/WL1PJZ0Y2fIY0gw7.html下篇傳送門:https://www.leiphone.com/news/201804/pHmelEV4qfrL65oX.htmlGoogle AI Interview Questions— Acing the AI Interview。谷歌AI相關研究有三大塊:數據基礎設施與分析,谷歌大腦團隊 與 谷歌AI醫療。谷歌在AI領域的刊物主要涉及三塊:機器智能 ,機器感知 與 自然語言處理。本文給出了20到面試題,感興趣的夥伴可以刷一刷。傳送門:https://www.leiphone.com/news/201804/PId42tzypEFJyf7f.htmlTensorflow學習資源匯總貼,本篇文章將為大家總結Tensorflow純乾貨學習資源,分為教程、視頻和項目三大板塊,非常適合新手學習,建議大家收藏。傳送門:https://mp.weixin.qq.com/s/RR3EEI8vm05EZSd7dGU__A深度學習資源貼,本篇文章針對深度學習資源從介紹、教程、視頻、數據集、項目、論文幾個方面進行了匯總。
傳送門:https://mp.weixin.qq.com/s/QDhas7luP_5bA5xAMEcYiA信息來源:雷鋒網、億歐網、新智元、機器之心、量子位等;微信群&交流合作- 加入微信群:不定期分享資料,拓展行業人脈請在公眾號留言:「微信號+名字+研究領域/專業/學校/公司」,我們將很快與您聯繫。
- 投稿、交流合作請留言聯繫。
http://weixin.qq.com/r/AC91bd-EloLprZsO93oS (二維碼自動識別)
推薦閱讀:
※【精品】12條核心知識帶你了解機器學習
※喜報!人工智閱讀理解能力首超人類,AI時代來了
※吳恩達機器學習第一周課後感
※機器學習基石筆記13:過擬合(OverFitting)
※我的機器學習計算資源
TAG:深度學習DeepLearning | 機器學習 | 科技 |