NNLM最新論文調研-2-《LightRNN:Memory and Computation-Efficient Recurrent Neural Networks》

• motive

• 詞典很大時，RNNLM的計算量很大，為了減少運算量，考慮將詞向量拆減成行列向量，運算量減少到2√|V|

• method
• 例子

  

• 流程



• 1、輸入單詞分解成行/列向量

• 2、根據前一個單詞的列向量相關的隱層變數預測當前單詞的行向量的概率；根據當前單詞的行向量相關的隱層變數預測當前單詞的列向量的概率
• 交叉預測，可以把行/列向量信息當做先驗，挑選更合適的列/行向量

• 詞表減少了，減少了softmax計算量

• 對於低頻詞可以進行更充分的訓練

• 3、調整行/列向量



• 目標函數是使整個詞典的詞的概率最大，具體過程沒看懂，等下次問昕院之後來補充

• result
• 1、先預測行向量，大概確定一個單詞的範圍，再預測列向量，確定具體單詞；理論上一行裡面的向量可能有相似的性質

• 2、縮減了模型規模，加快了訓練速度

• 3、行/列向量之間有共享信息，提升了效果

推薦閱讀：