如何評價重磅論文《Stopping GAN Violence》?
全名: Stopping GAN Violence: Generative Unadversarial Networks
arXiv地址:Generative Unadversarial NetworksGitHub源碼:albanie/SIGBOVIK17-GUNs知乎專欄點評:我以為只有我這樣的博士生才那麼不正經,沒想到CMU你們居然……(沒有乾貨,有正事兒的不要點進來) - 知乎專欄這篇論文裡面都涉及了那些重要的典(梗)故?會給深度學習界和GAN相關研究帶來怎樣的啟發?是否有助於消弭人類暴力、推動世界和平的發展?
SIGBOVIK 是我校每年4月1號隆重舉辦的正經會議,大家都一本正經的胡說八道,但細細品味,還是有很優秀的作品。下面主推我組畢業生大衛同學在sigbovik發表的3篇paper:
(1) Kardashian Kernel
http://oneweirdkerneltrick.com/sigbovik_2012.pdf
非常一本正經的kernel。
(2) Visually Identifying Rank
http://oneweirdkerneltrick.com/rank.pdf
拍一張矩陣的照片,用cnn回歸矩陣的rank。
該論文榮獲SIGBOVIK 2016 best paper award, 我們來看看得獎人員的介紹
(3)最後是我最喜歡的:ExcelNet!
http://www.deepexcel.net/
把lenet寫到了excel裡面,可以在excel輸入mnist digit,然後用excel進行分類!
咱們的爸媽也可以學習到神經網路了。
當然要把一個digit輸進去excel似乎有點麻煩。
無所謂了
## 重磅搞笑Paper(搞笑我們是正經的)
作者提出了GUN,抵抗暴力,宣揚和平(其實是來搞笑的),還特意搞了個NoN表情上去。
一整篇論文都在宣揚道德、仁愛、協作,抵抗暴力的GAN。動機就是看了部什麼鬼電影,還扯上了TCP協議握手協議。(一本正經地胡說八道)
演算法就是用一個生成器G和一個監視器M,共同進步,互愛互助(聽起來就很gay有沒有),然後每一步迭代,要放把結果放到PPT上展示(還溫馨提醒要記得帶U盤和準備投影儀)。
還說後續要結合 nurtural gradients、k-dearest neighbours這些什麼鬼東西。然後放出實驗結果(全是很好看的列印字,一看就是假的好嗎!)。
結果實驗證明,GAN的暴力是不道德並且是沒必要的。然後還說GUN這玩意兒的潛力很大,它的潛力在於你認為結果很好它就很好(啥玩意。。。)
最後還安利別人來填坑(填你妹~)。居然還附了搞笑代碼(我有點懷疑作者會不會被打死)
其實裡面還有很多沒看懂的梗(隱約地感受到那是個梗)
------------------------------------------糾錯分割線---------------------------------------------
經過知友提醒,我之前把Motivator看成了Monitor,所以譯成了監視器M。我認為Motivator在這裡應該譯為鼓勵師M(程序猿們聽了有沒有一絲小興奮呀~)
a generator G that does its best to capture whichever data distribution it feels it can manage and a motivator M that helps G to achieve its dream.
生成模型領域極具啟發性的工作,提名2017年搞笑諾貝爾獎計算機獎項及和平獎項。
看論文看累了看了這篇,簡直暢快淋漓通俗易懂令人感動。每一句每一段每條腳註都是梗,不想失去找梗樂趣的同學們請戳原文。列幾條我覺得有意思的:
———————GUN———————
network-on-network (NoN)
應該梗了這個工作 [1312.4400] Network In Network,還諧音none
PROPS ACKS
受到TCP三次握手協議的啟發,示意圖宜在遠距離低解析度下觀看哈哈哈哈
intractorable
諧音intractable,貝葉斯統計中難以計算的積分的問題
D,G:=G,D simultaneous assignment
backwards compatability, four-space equation indentation
這一段梗有點密集啊,先是多變數同時賦值的問題,然後說「數學的版本」v42.1不向後兼容(什麼鬼),因為科特?"Tab-Liebehaber"?哥德爾不受限於四空格縮進(這是在黑Python么)。
值得注意的是腳註3引用的是哥德爾1931年建立第一第二不完備性定理的論文On Formally Undecidable Propositions of Principia Mathematica and Related Systems,的德語原文。這參考文獻的範圍也是夠廣的。
spanned by all mattresses stuffed with U.S. dollars
matrices?美刀填滿的床墊張成的空間(???)
Neuroscience tells us that human brains are AlexVGGIncepResNets almost-everywhere
做deep learning的各位都很熟悉的Alex網路 VGG inception 殘差網路,沒錯神經科學告訴我們人類的大腦中幾乎處處都是這樣的結構233
the machine learning and the machine forgetting communities
機器學習及機器遺忘... 不過說實話這確實是個值得研究的領域啊(認真臉
one-shot learning
雙關 一槍/一次(?)學習 指的是少樣本學習在最極端的情況下只用一個樣本就能學到概念
Levenshtein edit distance
一堆*GAN是按編輯距離排序的(???)
(Amari Nagaoka, 2000)
(牽強附會地)引用的是信息幾何的經典教材,這一領域發展於80年代但早期工作僅存在於日語學界。腳註中說只需看奇數頁,偶數頁可以拿去疊紙鶴了哈哈哈
Note that these samples have been carefully cherry picked for their attractive appearance
這大概是說生成模型缺乏統一的評價標準的問題。確實現在很多工作看著很厲害論文里的圖都蠻自然的,但就是很難復現很難泛化。cherry-picked精心挑選的生成數據也是很多論文被批的一點。神作後文表示GUN的評價標準是opportunities for improvement提升空間,那真是當之無愧的第一了哈哈哈
?-greedy updates with an ? value of 1
做強化學習的應該知道的epsilon-greedy,當epsilon是1的時候不就是純隨機么_(:3」z)_
easy-positive mining
梗了物體識別中的hard-negative mining...
fight-or-flight behavior, which can result in vanishing gradients and runaway loss
原來戰或逃反應是梯度消失問題的源泉,新知識get√
nurtural gradients, k-dearest neighbours
梗了natural gradient和KNN。自然梯度確實是上面提到的信息幾何的方法,使得梯度下降中每次概率分布在黎曼流形上的距離改變相同。
———————GUN———————
總的來說,這篇文章行文流暢遣詞有趣,用梗功力也算是夠高了。個人感覺,如果一個領域出現了這樣的論文,實際上反映了這個領域研究的火熱和困境。一方面在GAN這一方向上誕生了許多有趣的具有啟發性的工作,另一方面對於GAN缺少深刻理解缺少評價標準等問題確實是我們正面對的。但從最初的博弈論解釋,到最近的擬合分布間的距離的解釋,近來的工作正逐步地改變這一點。能產生這樣的論文也算是好事吧。
至於推動世界和平的發展,我覺得可以(???)
這是個搞笑論文會議,我還一本正經的review的文章,當我啥也沒說,難受
謝邀,早上粗粗看了一下
赤露露的標題黨,我看中文標題可以這樣取:震驚!生成對抗網路走下神壇,竟是這原因?
看到標題我是滿懷期待,以為是個創舉,看完之後特么這是來搞笑的嗎。
先來看下作者簡介
這特么什麼鬼個人簡介,一個考到了駕照的軍人?黑人問號臉。這一坨黑色的神奇馬賽克又是什麼鬼。還有發表短片小說也是神奇,我。。。
然後內容,文章提出GM模型,一個生產網路G,一個監視網路M,不想GAN的GD互相對抗成長一樣,GM講究和諧統一,互相成長互相進步(恩,身為黨員這種思想我是很贊同的)。
然後訓練思想,M最大化G,G最大化M,話說這樣訓練真的不會出現M,G一直互相懟高對方然後最後都奔著無窮大去了嗎?這種正正促進的系統難道不是不穩定的嗎?
然後下面又是一個槽點,log(1-s),s解釋到是一個固定值,我們取S=0,特么log(1-0)不就是0嗎,這你寫進來幹嘛,強行增加公式長度?另外這個R是什麼東西,我好像整篇文章沒找到
接下來我們來看下cost,首先我看到這個$美元符號的時候我有點懵逼,好像沒看過這樣的數學符號
直到我看到了下面這一句
這個花費(損失值)是1876美元,生動形象沒毛病,最後我們來看下結果,首先結果沒有任何具體的數字表面,只有一張圖
你們的mnist的數據集好像和我的不一樣,我的mnist應該不會教我寫出左邊這樣的數字,左邊那些列印字體是個什麼樣的神奇存在
心疼一下這個會議的reviewers
吐槽了這麼多,還是給點正能量,這樣一篇"民科"氣質的搞笑文章,看得我簡直不知該如何評論。不過深度學習確實現在很火了,大家不管水平高低都在搗鼓著深度學習,挺好的,對這篇文章的作者們給點鼓勵吧,下次弄個正統一點的文章,不過SIGBOVIK的審稿人還是拒了這篇文章吧,bengio,hinton和lan fellow et al.都在我心中是神一樣的存在
特別想邀請三位作者來回答一本正經地胡說八道是怎樣一種體驗? - X 是種怎樣的體驗 - 知乎
用愛煉丹
第三位作者 Joao F. Henriques可是跟蹤演算法KCF的提出者呀!原來大牛逗逼起來都這樣一本正經蛤蛤~
看完全文,感動莫名。這是一項極重要的工作,為未來二十天的研究都指明了方向。
看好被選為SIGBOVIK 2017的最佳論文。
最後的簡介簡直6到不行啊
沒有人看最後的作者簡介嗎,23333
是個搞笑論文而已,他們不是第一次做這類事情了
這篇論文具有意義重大。
乃至於有一天強人工統一世界宣統四方的年代,在Ai對所有科學家和天才都碾壓無視的時候,仍然具有極大的價值。
列位科學家正如同把帝王扶上寶座的將軍們。
正如羅曼羅蘭說的:
當你看到強人工約翰面容之日,便是你將死而不死於惡死之日,你會被約翰不屑,你不會被記住。釣魚文,目測計劃是等這篇文章被拒了上臉書推特發幾個appeal to白左的狀態,轉發衝上去以後翻臉troll。華夏網用戶可關注微博、凱迪、網易等智商常年感動中國的網站查看後續。
推薦閱讀:
※詞向量( Distributed Representation)工作原理是什麼?
※如何評價 2017 年 Jeff Dean 的關於使用 deep learning 做索引的論文?
※澳大利亞和加拿大的機器學習工作崗位多嗎?
※有哪些深度學習框架可以跑在超算集群上?
※中科院說的深度學習指令集diannaoyu到底是什麼?
TAG:深度學習DeepLearning | 世界和平 | 生成對抗網路GAN |