斯坦福TensorFlow課CS20第四、五講筆記：使用TF實現word2vec、組織模型、共享變數和管理實驗
來自專欄 機器學習演算法與NLP學習筆記
第五講的內容實際上有一半都與第四講的材料重合，因此我把這兩講合併在了一起。這一講首先介紹了TF在1.5版本引入的新特性eager execution。藉由該特性，TF可以實現更python的編程方式，使用python的循環結構，無需重新構建計算圖（筆者註：據說該功能還不太穩定，可能需要觀望）。接下來，講述了word2vec的基本原理，並實現了word2vec模型，給出了TF代碼組織上的一點建議，例如將模型封裝成類，使用共享變數等方法。接下來，從兩個角度介紹了對實驗進行管理的方法。其一是使用tf.train.Saver類定期（在每個檢查點）保存模型，方便訓練的中斷和繼續；其二是使用tf.summary自動獲取一些摘要信息
CS20 05. 變數共享與實驗管理
前段時間，我剛剛發現斯坦福去年開設，廣受好評的「用於深度學習研究的TensorFlow」一課已經重新開設了，課號從CS20SI變為了CS20（課程地址）。相比去年，這門課今年的lecture notes更加詳細，可以一讀，儘管可能還存在一些bug（比如第五課有兩段代碼是完全一樣的）。由於最近開發任務比較重，我個人的主要問題已經從深度學習理論儲備不夠轉化成了TensorFlow不夠熟悉。為了更好地彌補自己的短板，同時由於Hinton的課內容與預期差距略大，學習後的效果滿意度低於預期，因此之後這段時間筆記的更新可能會以CS20為主。至於Hinton的課，儘管有點失望，但是我還不太想半途而廢（一共16講已經上過9講，好像正好在一半這個點上），因此估計還會堅持聽下去，筆記也會做下去，但是時間可能無法保證
不過，CS20有的內容講得也不太透徹。如果有興趣，可以搜一下Hands on Machine Learning with Scikit-Learn and TensorFlow這本書，名聲頗佳
推薦閱讀：
※配置深度學習主機與環境（TensorFlow+1080Ti） | 第一章：硬體選購與主機組裝
※使用Tensorflow做Kaggle入門題之數字識別
※學習筆記TF037:實現強化學習策略網路
※實例介紹TensorFlow的輸入流水線
※Geoffrey Hinton的CapsNet（《Dynamic Routing Between Capsules》）中的tf.stop_gradient()
TAG:TensorFlow |