GAN的discriminator,與同樣結構的神經網路比,會有更好的性能嗎?
GAN的generator 可以比同結構的神經網路生成更清晰的樣本。
那麼discriminator會有更好的性質嗎?比如更好的embedding?更高的accuracy。
性能上肯定不會的,然而作為pretrain model用於finetune,或許有額外效果。
考慮到gan模型其實更關注local feature而非泛化性的,用於fine grained task或許有提升,基於這個思路往下做,可能會是一個比較有意思的unsupervised feature extract machine。回頭可以去跑跑實驗,突然覺得倒也是個蠻有意思的point。
謝邀
比較顯然的一點是,不會的,不管是從理論上還是實驗上,都是如此
就不擺實驗結果了
光從道理上來講,兩者訓練的目標不同,如果相同結構的神經網路是用來做別的分類,顯然專註於判斷生成樣本和真實樣本的鑒別器網路顯然不能相比
即便是相同結構且是用來做真偽鑒別任務的神經網路,兩者接收到的訓練數據是不同的,很顯然前者訓練時,不可能有生成器不斷地吐出新的生成樣本來餵給它,通常都是一些模擬的XXX,ok,舉個例子,一幅圖,要鑒別真品還是贗品,假設下面(a)是原圖,(b)是我自己人工假冒的,(c)是生成器生成的,ps:我是想模仿寫出一樣字跡的「2」出來
好了,顯然鑒別網路會更加著重於區分「計算機生成出來」的樣本 和 真實樣本有什麼差別,如果放到真有什麼「贗品鑒別」這種任務上,應該是得不出好結果的,但是,你不能說它性能差,只是針對的任務不同而已,Discriminator生下來就只是為了鑒別 樣本來自於 人?還是 計算機?
性能的好壞,要放在具體的任務下,而不能一概而論,好,也許對於這個任務來說,他就是更好的encoding,對於另外一個任務來說,就是個垃圾的encoding吧
不過,不要灰心,試試用Discriminator的weight作為init,然後在這個基礎上再訓練別的任務(盡量也是同類型數據的分類吧),也許會有驚喜,也許什麼都沒有,嘻嘻...
前段時間有過相同的想法,在文本分類問題上,希望能夠把 discriminator 作為 classifier,用 generator 來提高 accuracy。但結果並不如人意,accuracy 相比單純的 classifier 反而降低了,我思考了一下可能有以下幾個原因,希望對題主有所幫助:
1. 我使用的 classifier 是 Attention based LSTM,其對於文本 feature 的提取能力是很強的(在 DBpedia 上接近99%的 accuracy ),而 generator 只是採用了很簡單的兩層 CNN,所以其產生的」文本」可能根本算不上」文本」,discriminator 能夠輕易判斷出真假,而 generator 因為過於簡單所以始終無法產生足以以假亂真的文本,因而對 accuracy 沒有提升效果。
2. 在相同訓練 epoch 數量下,相比原來單純 classifier,accuracy 反而降低的原因:我的 discriminator 和 generator 是交替訓練的,因而 discriminator 的訓練數量實際上是少於單純的 classifier 的,所以導致了 accuracy 的降低。
所以,如果題主想繼續嘗試的話,我有兩個建議:增加訓練 epoch,至少保證 discriminator 的訓練數量和 classifier 一樣;選擇更強的 generator 或者稍弱一點的 discriminator。根據經驗來看,不會。
先佔個坑,有時間再詳細點說。看你怎麼看待「更好的性能」了。我覺得如果是說最常見的拿去做識別分類的話,discriminator肯定是不比普通cnn的,因為畢竟discriminator的objective是更好地判斷真偽(當然也有像ACGAN這種也許還能判別目標類別)。至於提取到的特徵嘛,可以可視化一下和普通cnn做做對比,倒是個不錯的實驗。
看著前幾位答主思路都很正,再啰嗦就都是廢話了~~
對於普通的GAN,它只判別樣本來自真實數據還是生成數據,不能做傳統意義上的分類。GAN的目的是生成與訓練樣本同分布的數據,所以訓練GAN的時候,我們需要的生成器,判別器是輔助訓練生成器的。
推薦閱讀:
※通過DCGAN的判別器可以反向得到近似的隱空間表達向量Z嗎?
※如何評價 On Unifying Deep Generative Models 這篇 paper?
TAG:生成對抗網路GAN |