利用AWS學習深度學習 For Udacity P5(第一篇:困惑)
開篇:本文為「小白」寫給「小白」,肯定有不足(改進的機會),希望高手看官們「嘴」下留情,有不足請指出,我會不斷改進,謝謝大家給我學習的機會。
寫這些都是為了給自己一個交代,Udacity給我了很多思考的機會,作為學員我想應該給予反饋,讓更多的人愛上「深度學習」。
主要困惑:
1) 為什麼要用GPU伺服器訓練,我的電腦CPU也不錯啊,為啥不行?
深度運算的計算量很大,CPU是通用(各種複雜問題)計算很強,GPU是專用(特定方向)計算很強。
我說個工作中的例子吧,同樣的tensorflow深度學習代碼(32*32*3圖像,兩層卷積、池化、三層全鏈接),CPU(華為雲)10代訓練,需要10m,GPU(Nvidia K80 11G顯存)需要30s,差距十分明顯吧。
隨著訓練深度的增加,時間會變得越來越長,也許你的電腦冒煙了,也沒有跑出來是正常的,不是宕機了。
詳細知識請小白參照:Magnum Programm Life
借用斯坦福CS231N課程的截圖,差距大嗎?60多倍啊。。。
2)國內的GPU伺服器不行嗎?
國內GPU伺服器可以嗎,可以,答案是肯定的。百度、阿里雲、華為雲都很不錯,但是有個問題,雖然也有競價,他們都不便宜(時間的因素很重要)。請參照一下的表:
參照時間是:2018-1-22 11:50 ~12:50左右,所有選擇Nvidia顯卡最低配置
3)重點對比阿里雲
阿里雲在國內做的最好,品種最全面,也有競價(晚上能便宜些),就單純「租賃(按時收費)」而言,阿里雲無論你關機還是開機,有沒有使用GPU進行大範圍預算(也許以後會改變),你都要付費。說白了,就是你關機,錢繼續收。除非刪除機器,否則計費不會停止。國內的雲伺服器好像都是這樣。
每一分鐘等待都是要花錢的,包括你漫長的下載過程,這點挺煩人。
最理想的狀況是,用完關機、開機再計費,省時省力,或是便宜,讓我能夠少支付費用。AWS可以實現租賃(按時收費、非競價模式)關機停止計費。
4)境外、國內伺服器的優缺點
國內:
為了國家的安全,我有最先進的「牆」,所以很多東西會被「限制」或被「過濾」,包括國際帶寬。我用華為雲伺服器(東北區-電信6M),下載tensorflow、conda包或是訓練數據集,下載速度只有 10~20KB,能讓你等到頭髮都白了。。。深度學慣用的很多資料都是境外的,例如GitHub、google下載,如果你選擇錯了帶寬運營商,你需要花更多的時間等待。
國外:
可能有些你購買的伺服器地址無法訪問,命令輸入延時嚴重,打字感覺一針一針的。訪問自己伺服器網頁比較慢。。。但是下載境外網站,如github、google爽到飛,基本都是秒級(下載速度基本穩定在50MB~70MB之間),安裝和升級包就是享受。
※ 但是你想從自己的境外伺服器下載大數據到國內,你估計要頭髮白了。。。
5)AWS便宜還是自己買機器便宜(前提沒有合適的機器升級安裝顯卡)?
一台 配置1080Ti顯卡的機器,普遍都是在1萬左右,如果這個機器能夠兼顧學習和娛樂,我覺得挺好。如果你只是為了學深度學習,不玩遊戲等燒顯卡的應用,AWS成本更低。
6)筆記本適合深度學習嗎?
我覺得不適合,因為顯卡在運算的過程中會滿載運行,耗電量和發熱量巨大,所以長時間運行你的本本可能會受不了,冒煙都正常,呵呵。。。
即使 外星人這類筆記本可以深度學習,但是性價比太低,1080Ti的筆記本,估計要快3萬了。。。
凌藍風 18-01-22
《原創作品-請勿轉載》
相關參考:
凌藍風:利用AWS學習深度學習 For Udacity P5(第二篇:AWS 註冊)凌藍風:利用AWS學習深度學習 For Udacity P5(第三篇:AWS Udacity P5環境構建)凌藍風:利用AWS學習深度學習 For Udacity P5(第四篇:AWS 競價伺服器使用技巧)推薦閱讀:
※AWS為什麼在中國始終不能落地 ?
※安恆上阿里雲了,這事兒大家怎麼看?
※無意中被亞馬遜AWS扣費怎麼辦啊?
※亞馬遜為什麼要推Serverless Architecture?
※如何解除Amazon AWS綁定的信用卡?
TAG:人工智慧 | 優達學城Udacity | AmazonWebServicesAWS |