AI乾貨 | 2018十二彈05.12-18| 谷歌ML規則

AI乾貨 | 2018十二彈05.12-18| 谷歌ML規則

來自專欄九三智能控

點擊上方藍色字體，關註：九三智能控

谷歌《機器學習規則（Rules of Mahchine Learning）》中文版及第十二彈所有乾貨資料下載，公眾號回復：20180520

學術會議、課程、書籍、綜述谷歌上線了《機器學習規則（Rules of Mahchine Learning）》的中文版，匯聚了谷歌大腦高級科學家Martin Zinkevich開發Yoututbe、Google Play、Google Plus等谷歌重磅級產品的精華，總共包含43條規則，對於機器學習系統設計、實現的核心問題給出了重要指導。全文下載請在公眾號回復。斯坦福大學「CS224d：深度自然語言處理課程」中英字幕版重磅上線，原名 Deep Learning for Natural Language Processing （深度自然語言處理），是全球 NLP 領域最受歡迎的課程之一，讓你在了解豐富的深度自然語言處理應用案例的同時，學會在實踐中搭建出最先進的自然語言處理模型。課程地址：http://www.mooc.ai/course/494

彭博社記者Ashlee Van採訪了Geoffrey Hinton、Yann LeCun、Yoshua Bengio等眾多機器學習大牛，整理了一份人工智慧的口述歷史。文章地址：https://mp.weixin.qq.com/s/w67o0cf6uoLbNH_iKzDtYQ

人工智慧領域的先驅、貝葉斯網路之父 Judea Pearl 認為 AI 深陷於概率關聯的泥潭，而忽視了因果。Pearl 認為研究者應該研究因果（Cause and Effect），這可能是實現真正智能的機器的可能路徑。詳細觀點參見文章《專訪貝葉斯網路之父Judea Pearl》文章地址：https://mp.weixin.qq.com/s/Uo9oEdo8VD-Fc2Y9cwTQLw

論文&代碼繼上周在 Nature 發表極受關注的「網格細胞」研究後，DeepMind在《自然-神經科學》（Nature Neuroscience）發表的新論文中，研究人員使用AI研究中開發的元強化學習框架來探索多巴胺在大腦中幫助我們學習時所起的作用。論文題為：Prefrontal cortex as a meta-reinforcement learning system。多巴胺——通常被稱為大腦的愉悅因子——被認為與AI強化學習演算法中使用的獎勵預測誤差信號類似。AI系統通過獎勵（reward）指引的試錯來學習如何行動。研究者認為，多巴胺的作用不僅僅是利用獎勵來學習過去行為的價值，而且，多巴胺在大腦的前額葉皮層區扮演者不可或缺的角色，使我們能夠高效、快速、靈活地學習新任務。DeepMind的研究人員通過模擬重建神經科學領域的6個元學習實驗來測試他們的理論——每個實驗都要求一個agent執行任務，這些任務使用相同的基礎原則（或同一套技能），但在某些方面有所不同。

OpenAI 提出了一種人工智慧安全技術，它可以訓練兩個智能體對同一個話題進行辯論，最終由人類來評定輸贏。OpenAI 認為，這種方法或類似方法最終可以幫助我們訓練人工智慧系統在保持同人類一致喜好的同時，執行超越人類能力的認知任務。相關論文地址：https://arxiv.org/abs/1805.00899

辯論遊戲地址：https://debate-game.openai.com/

UC Berkeley大學發表論文《Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination》，該論文為CVPR 2018的Spotlight 論文。提出在標註數據集上訓練過的神經網路分類器無須人為干預就可以在各個類別間捕捉明顯的視覺相似性。將該思路看做實例級的非參數化分類問題，並使用雜訊對比估計來解決大量實例類帶來的計算挑戰。我們的實驗結果表明，在無監督學習條件下，我們的演算法性能遠超 ImageNet 分類問題上最先進的演算法。論文地址：https://arxiv.org/abs/1805.01978

開源代碼：http://github. com/zhirongw/lemniscate.pytorch

匹茨堡大學和騰訊 AI Lab發表論文《Feedback-Based Tree Search for Reinforcement Learning》，提出了一種基於模型的強化學習技術，可以在原始 infinite-horizon 馬爾可夫決策過程的多批小型 finite-horizon 版本上迭代使用 MCTS。我們使用估計值函數和估計策略函數指定 finite-horizon 問題的終止條件或 MCTS 所生成決策樹的子節點鑒別器。MCTS 步驟生成的推薦結果作為反饋，通過分類和回歸來為下一次迭代細化子節點鑒別器。我們為基於樹搜索的強化學習演算法提供第一個樣本複雜度界限。此外，我們還證明該技術的深度神經網路實現可以創建一個適合《王者榮耀》遊戲的有競爭力的 AI 智能體。論文鏈接：https://arxiv.org/abs/1805.05935

英偉達公司由 Guilin Liu 領導的研發團隊發表論文《Image Inpainting for Irregular Holes Using Partial Convolutions》，發布了一種最先進的深度學習演算法，可以編輯圖像或復原那些像素有缺失的圖像。該方法還可以通過刪除圖像的部分內容再進行填充的方式，來重新編輯圖像。論文地址：https://arxiv.org/pdf/1804.07723.pdf

曠視發表論文《Repulsion Loss: Detecting Pedestrians in a Crowd》，已被CVPR2018接收。提出一種全新的人群檢測定位模型 Repulsion Loss（RepLoss），在流行數據集 CityPersons 和 Caltech-USA 上取得了當前最優水平。特別是，本文結果在未使用像素注釋的情況下優於使用像素注釋的先前最佳結果大約 2%。論文鏈接：https://arxiv.org/abs/1711.07752哈爾濱工業大學在CVPR 2018 的一篇 Poster 論文《Learning a Single Convolutional Super-Resolution Network for Multiple Degradations》，提出了一種維度拉伸策略使得單個卷積超解析度網路能夠將 SISR 退化過程的兩個關鍵因素（即模糊核和雜訊水平）作為網路輸入。歸因於此，訓練得到超分辨網路模型可以處理多個甚至是退化空間不均勻的退化類型。實驗結果表明提出的卷積超解析度網路可以快速、有效的處理多種圖像退化類型，為 SISR 實際應用提供了一種高效、可擴展的解決方案。論文地址：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR18_SRMD.pdf

UIUC和英特爾研究人員發表論文《Learning to See in the Dark》，為了推進基於學習的低照度圖像處理研究，我們引入了原始 RAW 格式的短曝光低照度圖像數據集以及相應的長曝光參考圖像。使用這個數據集，我們開發了一個基於端到端訓練的全卷積網路進行低照度圖像處理。這個網路直接處理原始感測器數據，並且基本不使用傳統圖像處理流程方法。論文鏈接：https://arxiv.org/abs/1805.01934

北京大學計算語言學教育部重點實驗室與百度的研究者發表論文《使用跨文章答案驗證的多文章機器閱讀理解（Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification）》，提出了一種端到端的神經模型，能讓這些來自不同文章的候選答案基於它們的內容表徵彼此驗證。具體來說，我們是基於三個因素聯合訓練三個模塊來預測最終答案：答案邊界、答案內容和跨文章答案驗證。實驗結果表明我們的方法的表現顯著優於基準，並且在英語的 MS-MARCO 數據集和漢語的 DuReader 數據集（這兩個數據集都是為真實環境中的 MRC 設計的）上都實現了當前最佳的表現。該研究的論文已被將於當地時間 7 月 15-20 日在澳大利亞墨爾本舉辦的 ACL 2018 會議接收。論文地址：https://arxiv.org/abs/1805.02220

中國科技大學和蘭州大學等研究者發表論文《An O(N) Sorting Algorithm: Machine Learning Sorting》，提出了一種基於機器學習方法的 O(N) 排序演算法，其在大數據排序應用上有巨大的潛力。該排序演算法可以應用到並行排序，且適用於 GPU 或 TPU 加速。此外，我們還將該演算法應用到了稀疏哈希表上。論文地址：https://arxiv.org/pdf/1805.04272.pdf

北京大學的研究者發表論文《A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification》。該研究的論文已被 IJCAI 2018 會議接收。提出了一種分層式端到端模型，可用於聯合學習文本摘要和情感分類，其中情感分類標籤被當作文本摘要輸出的更進一步「摘要」。因此，情感分類層被放置在文本摘要層之上，並衍生出了一種分層式結構。在亞馬遜在線評論數據集上的實驗結果表明我們的模型在抽象式摘要和情感分類上都能實現比強大的基準系統更優的表現。論文地址：https://arxiv.org/abs/1805.01089

騰訊知文團隊、蘇黎世聯邦理工學院、哥倫比亞大學和騰訊 AI Lab 的研究者發表論文《一種用於抽象式文本摘要的強化型可感知主題的卷積序列到序列模型（A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization）》，提出了一種解決自動文本摘要任務的深度學習方法，即將主題信息引入到卷積 sequence to sequence（ConvS2S）模型中並使用 self-critical 強化學習訓練方法（SCST）來進行優化。引入詞語和主題信息，加入多步注意力機制，我們的方法可以通過帶主題偏置的概率生成機制提升所生成摘要的連貫性、多樣性和信息豐富性。另一方面，SCST 這樣的強化學習訓練方法可以根據針對摘要的評價指標 ROUGE 直接優化模型，這也能緩解曝光偏差問題。我們在 Gigaword、 DUC-2004 和 LCSTS 數據集上進行實驗評估，結果表明我們提出的方法在生成式摘要上的優越性。論文鏈接：https://arxiv.org/pdf/1805.03616.pdf

上交大發表論文《Collaborative Learning for Weakly Supervised Object Detection》，提出了一種弱監督協同學習（WSCL）的框架，將弱監督學習網路和強監督學習網路連接成為一個整體網路，通過一致性損失約束強監督和弱監督學習網路具有相似的預測結果，通過強監督和弱監督學習網路間部分特徵共享保證兩個網路在感知水平上的一致性，從而實現強監督和弱監督學習網路的協同增強學習。

論文鏈接：https://arxiv.org/abs/1802.03531

開發工具&數據集北京師範大學等機構的研究者開源了「中文詞向量語料庫」，試圖為大家解決這一問題，該庫包含經過數十種用各領域語料（百度百科、維基百科、人民日報 1947-2017、知乎、微博、文學、金融、古漢語等）訓練的詞向量，涵蓋各領域，且包含多種訓練設置。目前，該研究的論文《Analogical Reasoning on Chinese Morphological and Semantic Relations》已經被 ACL2018 大會接收。項目鏈接：https://github.com/Embedding/Chinese-Word-Vectors

工具包：ngram2vec：https://github.com/zhezhaoa/ngram2vec/

工具包：word2vec：https://github.com/svn2github/word2vec

工具包：fasttext：https://github.com/facebookresearch/fastText

曠視發布了一個叫做 CrowdHuman 的基準數據集，該數據集可用於人群中的人類檢測。CrowdHuman 數據集的數據規模非常大，同時包含了豐富的注釋和很高的多樣性。該數據集擁有 15000 張用於訓練的圖像，4370 張用於驗證的圖像和 5000 張用於測試的圖像，總共有 470K 個來自訓練和驗證子集的人類實例，數據集里的每張圖片包含 23 個人，同時存在著各種各樣的遮擋。每個人類實例都用頭部邊界框、人類可見區域邊界框和人體全身邊界框注釋。論文

https://arxiv.org/abs/1805.00123

官網

http://www.crowdhuman.org/

數據集下載

• CrowdHuman_train01.zip [Baidu Drive] [Google Drive]
• CrowdHuman_train02.zip [Baidu Drive] [Google Drive]
• CrowdHuman_train03.zip [Baidu Drive] [Google Drive]
• CrowdHuman_val.zip [Baidu Drive] [Google Drive]
• annotation_train.odgt [Baidu Dirve] [Google Drive]
• annotation_val.odgt [Baidu Drive] [Google Drive]

信息來源：雷鋒網、億歐網、新智元、機器之心、量子位等；

微信群&交流合作

• 加入微信群：不定期分享資料，拓展行業人脈請在公眾號留言：「微信號+名字+研究領域/專業/學校/公司」，我們將很快與您聯繫。
• 投稿、交流合作請留言聯繫。

http://weixin.qq.com/r/AC91bd-EloLprZsO93oS (二維碼自動識別)

推薦閱讀：