如何評價重磅論文《Stopping GAN Violence》?

全名: Stopping GAN Violence: Generative Unadversarial Networks

arXiv地址:Generative Unadversarial Networks

GitHub源碼:albanie/SIGBOVIK17-GUNs

知乎專欄點評:我以為只有我這樣的博士生才那麼不正經,沒想到CMU你們居然……(沒有乾貨,有正事兒的不要點進來) - 知乎專欄

這篇論文裡面都涉及了那些重要的典(梗)故?會給深度學習界和GAN相關研究帶來怎樣的啟發?是否有助於消弭人類暴力、推動世界和平的發展?


SIGBOVIK 是我校每年4月1號隆重舉辦的正經會議,大家都一本正經的胡說八道,但細細品味,還是有很優秀的作品。下面主推我組畢業生大衛同學在sigbovik發表的3篇paper:

(1) Kardashian Kernel

http://oneweirdkerneltrick.com/sigbovik_2012.pdf

非常一本正經的kernel。

(2) Visually Identifying Rank

http://oneweirdkerneltrick.com/rank.pdf

拍一張矩陣的照片,用cnn回歸矩陣的rank。

該論文榮獲SIGBOVIK 2016 best paper award, 我們來看看得獎人員的介紹

(3)最後是我最喜歡的:ExcelNet!

http://www.deepexcel.net/

把lenet寫到了excel裡面,可以在excel輸入mnist digit,然後用excel進行分類!

咱們的爸媽也可以學習到神經網路了。

當然要把一個digit輸進去excel似乎有點麻煩。

無所謂了


## 重磅搞笑Paper(搞笑我們是正經的)

作者提出了GUN,抵抗暴力,宣揚和平(其實是來搞笑的),還特意搞了個NoN表情上去。

一整篇論文都在宣揚道德、仁愛、協作,抵抗暴力的GAN。動機就是看了部什麼鬼電影,還扯上了TCP協議握手協議。(一本正經地胡說八道)

演算法就是用一個生成器G和一個監視器M,共同進步,互愛互助(聽起來就很gay有沒有),然後每一步迭代,要放把結果放到PPT上展示(還溫馨提醒要記得帶U盤和準備投影儀)。

還說後續要結合 nurtural gradients、k-dearest neighbours這些什麼鬼東西。然後放出實驗結果(全是很好看的列印字,一看就是假的好嗎!)。

結果實驗證明,GAN的暴力是不道德並且是沒必要的。然後還說GUN這玩意兒的潛力很大,它的潛力在於你認為結果很好它就很好(啥玩意。。。)

最後還安利別人來填坑(填你妹~)。居然還附了搞笑代碼(我有點懷疑作者會不會被打死)

其實裡面還有很多沒看懂的梗(隱約地感受到那是個梗)

------------------------------------------糾錯分割線---------------------------------------------

經過知友提醒,我之前把Motivator看成了Monitor,所以譯成了監視器M。我認為Motivator在這裡應該譯為鼓勵師M(程序猿們聽了有沒有一絲小興奮呀~)


a generator G that does its best to capture whichever data distribution it feels it can manage and a motivator M that helps G to achieve its dream.

生成模型領域極具啟發性的工作,提名2017年搞笑諾貝爾獎計算機獎項及和平獎項。

看論文看累了看了這篇,簡直暢快淋漓通俗易懂令人感動。每一句每一段每條腳註都是梗,不想失去找梗樂趣的同學們請戳原文。列幾條我覺得有意思的:

———————GUN———————

network-on-network (NoN)

應該梗了這個工作 [1312.4400] Network In Network,還諧音none

PROPS ACKS

受到TCP三次握手協議的啟發,示意圖宜在遠距離低解析度下觀看哈哈哈哈

intractorable

諧音intractable,貝葉斯統計中難以計算的積分的問題

D,G:=G,D simultaneous assignment

backwards compatability, four-space equation indentation

這一段梗有點密集啊,先是多變數同時賦值的問題,然後說「數學的版本」v42.1不向後兼容(什麼鬼),因為科特?"Tab-Liebehaber"?哥德爾不受限於四空格縮進(這是在黑Python么)。

值得注意的是腳註3引用的是哥德爾1931年建立第一第二不完備性定理的論文On Formally Undecidable Propositions of Principia Mathematica and Related Systems,的德語原文。這參考文獻的範圍也是夠廣的。

spanned by all mattresses stuffed with U.S. dollars

matrices?美刀填滿的床墊張成的空間(???)

Neuroscience tells us that human brains are AlexVGGIncepResNets almost-everywhere

做deep learning的各位都很熟悉的Alex網路 VGG inception 殘差網路,沒錯神經科學告訴我們人類的大腦中幾乎處處都是這樣的結構233

the machine learning and the machine forgetting communities

機器學習及機器遺忘... 不過說實話這確實是個值得研究的領域啊(認真臉

one-shot learning

雙關 一槍/一次(?)學習 指的是少樣本學習在最極端的情況下只用一個樣本就能學到概念

Levenshtein edit distance

一堆*GAN是按編輯距離排序的(???)

(Amari Nagaoka, 2000)

(牽強附會地)引用的是信息幾何的經典教材,這一領域發展於80年代但早期工作僅存在於日語學界。腳註中說只需看奇數頁,偶數頁可以拿去疊紙鶴了哈哈哈

Note that these samples have been carefully cherry picked for their attractive appearance

這大概是說生成模型缺乏統一的評價標準的問題。確實現在很多工作看著很厲害論文里的圖都蠻自然的,但就是很難復現很難泛化。cherry-picked精心挑選的生成數據也是很多論文被批的一點。神作後文表示GUN的評價標準是opportunities for improvement提升空間,那真是當之無愧的第一了哈哈哈

?-greedy updates with an ? value of 1

做強化學習的應該知道的epsilon-greedy,當epsilon是1的時候不就是純隨機么_(:3」z)_

easy-positive mining

梗了物體識別中的hard-negative mining...

fight-or-flight behavior, which can result in vanishing gradients and runaway loss

原來戰或逃反應是梯度消失問題的源泉,新知識get√

nurtural gradients, k-dearest neighbours

梗了natural gradient和KNN。自然梯度確實是上面提到的信息幾何的方法,使得梯度下降中每次概率分布在黎曼流形上的距離改變相同。

———————GUN———————

總的來說,這篇文章行文流暢遣詞有趣,用梗功力也算是夠高了。個人感覺,如果一個領域出現了這樣的論文,實際上反映了這個領域研究的火熱和困境。一方面在GAN這一方向上誕生了許多有趣的具有啟發性的工作,另一方面對於GAN缺少深刻理解缺少評價標準等問題確實是我們正面對的。但從最初的博弈論解釋,到最近的擬合分布間的距離的解釋,近來的工作正逐步地改變這一點。能產生這樣的論文也算是好事吧。

至於推動世界和平的發展,我覺得可以(???)


這是個搞笑論文會議,我還一本正經的review的文章,當我啥也沒說,難受

謝邀,早上粗粗看了一下

赤露露的標題黨,我看中文標題可以這樣取:震驚!生成對抗網路走下神壇,竟是這原因?

看到標題我是滿懷期待,以為是個創舉,看完之後特么這是來搞笑的嗎。

先來看下作者簡介

這特么什麼鬼個人簡介,一個考到了駕照的軍人?黑人問號臉。這一坨黑色的神奇馬賽克又是什麼鬼。還有發表短片小說也是神奇,我。。。

然後內容,文章提出GM模型,一個生產網路G,一個監視網路M,不想GAN的GD互相對抗成長一樣,GM講究和諧統一,互相成長互相進步(恩,身為黨員這種思想我是很贊同的)。

然後訓練思想,M最大化G,G最大化M,話說這樣訓練真的不會出現M,G一直互相懟高對方然後最後都奔著無窮大去了嗎?這種正正促進的系統難道不是不穩定的嗎?

然後下面又是一個槽點,log(1-s),s解釋到是一個固定值,我們取S=0,特么log(1-0)不就是0嗎,這你寫進來幹嘛,強行增加公式長度?另外這個R是什麼東西,我好像整篇文章沒找到

接下來我們來看下cost,首先我看到這個$美元符號的時候我有點懵逼,好像沒看過這樣的數學符號

直到我看到了下面這一句

這個花費(損失值)是1876美元,生動形象沒毛病,最後我們來看下結果,首先結果沒有任何具體的數字表面,只有一張圖

你們的mnist的數據集好像和我的不一樣,我的mnist應該不會教我寫出左邊這樣的數字,左邊那些列印字體是個什麼樣的神奇存在

心疼一下這個會議的reviewers

吐槽了這麼多,還是給點正能量,這樣一篇"民科"氣質的搞笑文章,看得我簡直不知該如何評論。不過深度學習確實現在很火了,大家不管水平高低都在搗鼓著深度學習,挺好的,對這篇文章的作者們給點鼓勵吧,下次弄個正統一點的文章,不過SIGBOVIK的審稿人還是拒了這篇文章吧,bengio,hinton和lan fellow et al.都在我心中是神一樣的存在


特別想邀請三位作者來回答一本正經地胡說八道是怎樣一種體驗? - X 是種怎樣的體驗 - 知乎


用愛煉丹


第三位作者 Joao F. Henriques可是跟蹤演算法KCF的提出者呀!原來大牛逗逼起來都這樣一本正經蛤蛤~


看完全文,感動莫名。這是一項極重要的工作,為未來二十天的研究都指明了方向。

看好被選為SIGBOVIK 2017的最佳論文。


最後的簡介簡直6到不行啊


沒有人看最後的作者簡介嗎,23333


是個搞笑論文而已,他們不是第一次做這類事情了


這篇論文具有意義重大。

乃至於有一天強人工統一世界宣統四方的年代,在Ai對所有科學家和天才都碾壓無視的時候,仍然具有極大的價值。

列位科學家正如同把帝王扶上寶座的將軍們。

正如羅曼羅蘭說的:

當你看到強人工約翰面容之日,便是你將死而不死於惡死之日,你會被約翰不屑,你不會被記住。


釣魚文,目測計劃是等這篇文章被拒了上臉書推特發幾個appeal to白左的狀態,轉發衝上去以後翻臉troll。華夏網用戶可關注微博、凱迪、網易等智商常年感動中國的網站查看後續。


推薦閱讀:

詞向量( Distributed Representation)工作原理是什麼?
如何評價 2017 年 Jeff Dean 的關於使用 deep learning 做索引的論文?
澳大利亞和加拿大的機器學習工作崗位多嗎?
有哪些深度學習框架可以跑在超算集群上?
中科院說的深度學習指令集diannaoyu到底是什麼?

TAG:深度學習DeepLearning | 世界和平 | 生成對抗網路GAN |