第一天實驗模型的感受

返回目錄頁面

雖然是痛苦的經歷，但也想記錄一下留作紀念 ...

循環訓練20多次，崩潰，going crazy all the time

• 可以調試的超參數太多
• 要不要用： weight, group
• 要不要做標準化：features0-87, group, weight
• 用哪一種標準化： standardScaler, minmaxScaler
• 從小模型開始訓練起： 1-hidden 2 neurons
• 訓練多少遍，到達怎樣的狀態，我們應該逐步擴大變深模型？
• 大模型： 2-hidden 8, 4 neurons
• 很容易，過擬合
• 先用什麼解決過擬合？L2， dropout （參數調成多少？）
• 實驗，對比，標杆在哪裡？
• weight， weight_stad, weight_mimax: 2-3， -0.1， 0.04
• 競賽：0.64
• 但是過擬合下，仍舊2.6左右，怎麼回事？
• 只能先上傳預測值，看看生成怎樣的結果
• 仍舊是2-3之間？
• 還是0.6-0.8 之間？
• 明天的方向
• 使用weight，不標準化 （公式沒有附註說需要）
• features0-87 VS features0-87_stad
• group_stad
• 2-1： 300遍
• 4-2： 300遍
• 6-3： 300遍
• 8-4：300遍

3. 第一天的實驗感受 http://v.youku.com/v_show/id_XMzAyMjM4MzA1Ng==.html?spm=a2h1n.8251843.playList.5!6~5~A&f=50984377&o=0

部分實驗的結果

2-hidden, 8:4 neurons, features0-87, no group, no weight

2-hidden, 8:4 neurons, features0-87, no group, no weight, 50% dropout on input

2-hidden, 8:4 neurons, features0-87, no group, no weight, 80% dropout on input

2-hidden, 8:4 neurons, features0-87, group_stad, use weight

https://www.zhihu.com/video/891570430857605120

返回目錄頁面

推薦閱讀：