水師提督速成指南：用Keras打造你的AI水軍。

github.com

例外之處是我們會再堆疊幾個循環神經網路單元，從而讓隱藏層在輸入層和輸出層之間能存儲更多的信息。這樣能生成更加真實的 Yelp 評論。

在展示模型的代碼之前，我們先深究一下堆疊的 RNN 是如何工作的。

你可能在標準的神經網路中見過它（也就是 Keras 中的緻密層，Dense layer）。

第一個層會用輸入 X 計算激活值 a[1]，它會堆疊第二個層來計算出下一個激活值 a[2]。

堆疊的 RNN 有點像標準的神經網路，而且能「及時展開」。

記號 a[I]<t> 表示層 I 的激活配置，其中 <t> 表示時步 t。

我們瞅一眼怎麼計算出一個激活值。

要想計算 a[2]<3>，需要兩個輸入，a[2]<2> 和 a[1]<3>。

g 是激活函數，wa[2] 和 ba[2] 是層 2 的參數。

我們可以看到，要想堆疊 RNN，之前的 RNN 需要將所有的時步 a<t>to 返回到下面的 RNN 中。

Keras 中默認一個 RNN 層，比如 LSTM，只返回最後的時步激活值 a<T>。為了返回所有時步的激活值，我們要將 return_sequences 參數設為 true。

這裡說說如何在 Keras 上搭建模型。每個輸入樣本都是一個 60 個字元的獨熱表示（one-hot representation），總共有 95 個可能的字元。

每個輸出就是每個字元的一列 95 個預測概率。

import kerasfrom keras import layersmodel = keras.models.Sequential()model.add(layers.LSTM(1024, input_shape=(60, 95),return_sequences=True))model.add(layers.LSTM(1024, input_shape=(60, 95)))model.add(layers.Dense(95, activation=softmax))

訓練模型

訓練模型的思路很簡單，我們會以輸入/輸出成對地訓練模型。每個輸入是 60 個字元，相應的輸出為緊跟在後面的字元。

在數據準備這一步，我們創建了一列乾淨的 5 星評論文本。總共有 1214016 行評論。為了讓訓練簡單一點，我們只訓練字元長度小於或等於 250 的評論，最後會得到 418955 行評論。

然後我們打亂評論的順序，這樣我們就不會用一行中同一家餐廳的 100 條評論來訓練模型。

我們會將所有的評論讀取為一個長文本字元串，然後創建一個 Python 目錄（比如一個散列表）將每個字元映射到 0-94（總共 95 個特別字元）之間的一個索引上。

# List of unique characters in the corpuschars = sorted(list(set(text)))print(Unique characters:, len(chars))# Dictionary mapping unique characters to their index in `chars`char_indices = dict((char, chars.index(char)) for char in chars)

文本庫一共有 72662807 個字元，很難將其作為一個整體處理。因此我們將它拆分為幾個文本塊，每塊有 90k 個字元。

對於拆分後的每個文本塊，我們會生成這部分的每對輸入和輸出。從頭到尾轉變文本塊的指針，如果時步設為 1 的話，每次轉變 1 個字元。

def getDataFromChunk(txtChunk, maxlen=60, step=1): sentences = [] next_chars = [] for i in range(0, len(txtChunk) - maxlen, step): sentences.append(txtChunk[i : i + maxlen]) next_chars.append(txtChunk[i + maxlen]) print(nb sequences:, len(sentences)) print(Vectorization...) X = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool) y = np.zeros((len(sentences), len(chars)), dtype=np.bool) for i, sentence in enumerate(sentences): for t, char in enumerate(sentence): X[i, t, char_indices[char]] = 1 y[i, char_indices[next_chars[i]]] = 1return [X, y]

在 GPU（GTX1070）上訓練一個文本塊的話，每個 epoch 耗時 219 秒，那麼訓練完整個文本庫需要花費大約 2 天時間。

72662807 / 90000 * 219 /60 / 60/ 24 = 2.0 days

Keras 的兩個回調函數 ModelCheckpoint 和 ReduceLROnPlateau 用起來很方便。

ModelCheckpoint 能幫我們保存每一次優化時的權重。

當損失度量停止下降時，ReduceLROnPlateau 回調函數會自動減少學習率。它的主要益處是我們不需要再手動調整學習率，主要缺點是它的學習率會一直下降和衰退。

# this saves the weights everytime they improve so you can let it train. Also learning rate decayfilepath="Feb-22-all-{epoch:02d}-{loss:.4f}.hdf5"checkpoint = ModelCheckpoint(filepath, monitor=loss, verbose=1, save_best_only=True, mode=min)reduce_lr = ReduceLROnPlateau(monitor=loss, factor=0.5, patience=1, min_lr=0.00001)callbacks_list = [checkpoint, reduce_lr]

將模型訓練 20 個 epoch 的代碼如下：

for iteration in range(1, 20): print(Iteration, iteration) with open("../dataset/short_reviews_shuffle.txt") as f: for chunk in iter(lambda: f.read(90000), ""): X, y = getDataFromChunk(chunk) model.fit(X, y, batch_size=128, epochs=1, callbacks=callbacks_list)

如果全部訓練完，大概需要 1 個月的時間。但是對我們來說，訓練上 2 個小時就能生成很不錯的結果。

生成5星評論

有了預訓練模型的權重或者你自己訓練的模型，我們就可以生成有意思的 Yelp 評論了。

思路是這樣：我們用初始 60 個字元作為模型的「種子」，然後讓模型預測緊接下來的字元。

「索引抽樣」過程會根據給定預測生成一些隨機性，為最終結果添加一些變體。

如果 temperature 的值很小，它會一直選取有最高預測概率的索引。

def sample(preds, temperature=1.0): Generate some randomness with the given preds which is a list of numbers, if the temperature is very small, it will always pick the index with highest pred value preds = np.asarray(preds).astype(float64) preds = np.log(preds) / temperature exp_preds = np.exp(preds) preds = exp_preds / np.sum(exp_preds) probas = np.random.multinomial(1, preds, 1)return np.argmax(probas)

要想生成 300 個字元，代碼如下：

# We generate 300 charactersfor i in range(300): sampled = np.zeros((1, maxlen, len(chars))) # Turn each char to char index. for t, char in enumerate(generated_text): sampled[0, t, char_indices[char]] = 1. # Predict next char probabilities preds = model.predict(sampled, verbose=0)[0] # Add some randomness by sampling given probabilities. next_index = sample(preds, temperature) # Turn char index to char. next_char = chars[next_index] # Append char to generated text string generated_text += next_char # Pop the first char in generated text string. generated_text = generated_text[1:] # Print the new generated char. sys.stdout.write(next_char) sys.stdout.flush()print(generated_text)

結語

在本文，我們學習了如何用 Keras 搭建和訓練一個字元級文本生成模型。本項目的源代碼以及所用的預訓練模型，均可在 GitHub 上獲取：