這裡是強化學習入門……的入門

原作：Thomas Simonini

牆化栗子 編譯自 FreeCodeCamp

量子位 出品 | 公眾號 QbitAI

強化學習是機器學習裡面非常重要的一個派別。智能體 (agent) 會不斷執行一些操作，通過結果來學習，在不同的環境中分別應該採取怎樣的行動。

在一系列教學文章里，我們可以了解不同的架構，來解決強化學習的問題。Q學習，深度Q網路 (DQN) ，策略梯度 (Policy Gradients) ，演員-評論家 (Actor-Critic) ，以及近端策略優化 (PPO) 都是將要涉及的演算法。

這是本系列的第一篇文章，你可以抓住的重點有：

· 什麼是強化學習，以及為什麼獎勵最重要

· 強化學習的三種方式

· 深度強化學習的「深度」是什麼意思

以上幾點，在進入強化學習的複雜世界之前，可能還是有必要了解一下。

這是個友好的引子

強化學習的中心思想，就是讓智能體在環境里學習。每個行動會對應各自的獎勵，智能體通過分析數據來學習，怎樣的情況下應該做怎樣的事情。

其實，這樣的學習過程和我們自然的經歷非常相似。想像自己是個小孩子，第一次看到了火，然後走到了火邊。

你感受到了溫暖。火是個好東西 (+1) 。

然後就試著去摸。卧槽，這麼燙 (-1) 。

結論是，在稍遠的地方火是好的，靠得太近就不好。

這就是人類學習的方式，與環境交互。強化學習也是一樣的道理，只是主角換成了計算機。

比如，智能體要學著玩超級馬里奧。強化學習過程可以用一個循環 (loop) 來表示：

· 智能體在環境 (超級馬里奧) 里獲得初始狀態S0 (遊戲的第一幀) ；

· 在state 0的基礎上，agent會做出第一個行動A0 (如向右走) ；

· 環境變化，獲得新的狀態S1 (A0發生後的某一幀) ；

· 環境給出了第一個獎勵R1 (沒死：+1) ；

於是，這個loop輸出的就是一個由狀態、獎勵和行動組成的序列。

而智能體的目標就是讓預期累積獎勵最大化。

獎勵假說為根基

問題來了，目標為什麼是預期累積獎勵最大化？

因為，強化學習原本就是建立在獎勵假說的基礎之上。想表現好，就要多拿獎勵。

每一個時間步 (time step) 的累積獎勵都可以表示為：

或者

不過，我們沒有辦法把獎勵直接相加。因為遊戲里，越接近遊戲開始處的獎勵，就越容易獲得；而隨著遊戲的進行，後面的獎勵就沒有那麼容易拿到了。

把智能體想成一隻小老鼠，對手是只貓。它的目標就是在被貓吃掉之前，吃到最多的乳酪。

就像圖中，離老鼠最近的乳酪很容易吃，而從貓眼皮底下順乳酪就難了。離貓越近，就越危險。

結果就是，從貓身旁獲取的獎勵會打折扣，吃到的可能性小，就算乳酪放得很密集也沒用。

那麼，這個折扣要怎麼算呢？

我們用γ表示折扣率，在0和1之間。

· γ越大，折扣越小。表示智能體越在意長期的獎勵 (貓邊上的乳酪) 。

· γ越小，折扣越大。表示智能體越在意短期的獎勵 (鼠邊上的乳酪) 。

這樣，累積獎勵表示出來就是：

簡單來說，離貓近一步，就乘上一個γ，表示獎勵越難獲得。

片段性任務還是連續性任務

強化學習里的任務分兩種。

片段性任務 (Episodic Tasks)

這類任務，有個起點，有個終點。兩者之間有一堆狀態，一堆行動，一堆獎勵，和一堆新的狀態，它們共同構成了一「集」。

當一集結束，也就是到達終止狀態的時候，智能體會看一下獎勵累積了多少，以此評估自己的表現。

然後，它就帶著之前的經驗開始一局新遊戲。這一次，智能體做決定的依據會充分一些。

以貓鼠迷宮為例的一集：

· 永遠從同一個起點開始

· 如果被貓吃掉或者走了超過20步，則遊戲結束

· 結束時，得到一系列狀態、行動、獎勵和新狀態

· 算出獎勵的總和 (看看錶現如何)

· 更有經驗地開始新遊戲

集數越多，智能體的表現會越好。

連續性任務 (Continuing Tasks)

永遠不會有遊戲結束的時候。智能體要學習如何選擇最佳的行動，和環境進行實時交互。就像自動駕駛汽車，並沒有過關拔旗子的事。

這樣的任務是通過時間差分學習 (Temporal Difference Learning) 來訓練的。每一個時間步，都會有總結學習，等不到一集結束再分析結果。

探索和開發之間的權衡

在討論強化學習的幾種方法之前，必須講到這件事。

· 探索 (Exploration) 是找到關於環境的更多信息。

· 開發 (Exploitation) 是利用已知信息來得到最多的獎勵。

要記住，目標是將預期累積獎勵最大化。正因如此，它有時候會陷入一種困境。

小老鼠可以吃到無窮多塊分散的乳酪 (每塊+1) 。但在迷宮上方，有許多堆在起的乳酪(+1000) ，或者看成巨型乳酪。

如果我們只關心吃了多少，小老鼠就永遠不會去找那些大乳酪。它只會在安全的地方一塊一塊地吃，這樣獎勵累積比較慢，但它不在乎。

如果它跑去遠的地方，也許就會發現大獎的存在，但也有可能發生危險。

程序猿需要設定一種規則，讓智能體能夠把握二者之間的平衡。

強化學習的三種方法

前菜吃完了，我們終於要開始講解決強化學習問題的方法了。三種方法分別是：基於價值（value-based）、基於策略（policy-based）以及基於模型（model-based）的方法。

基於價值 (Value-Based)

這種方法，目標是優化價值函數V(s)。

價值函數會告訴我們，智能體在每個狀態里得出的未來獎勵最大預期 (maximum expected future reward) 。

一個狀態下的函數值，是智能體可以預期的未來獎勵積累總值，從當前狀態開始算。

智能體要用這個價值函數來決定，每一步要選擇哪個行動。它會採取函數值 (就是Q值) 最大的那個行動。

在迷宮問題中，每一步我們都選取最大函數值：-7，-6，-5，以此類推，達到目標。

基於策略 (Policy-Based)

這種方式，會直接優化策略函數π(s)，拋棄價值函數。

策略就是評判智能體在特定時間點的表現。

把每一個狀態和它所對應的最佳行動建立聯繫。

策略分為兩種，

· 確定性策略：某一個特定狀態下的策略，永遠都會給出同樣的行動。

· 隨機性策略：策略給出的是多種行動的可能性分布。

從圖中我們可以看到，策略直接指出了每一步的最佳行動。

基於模型 (Model-Based)

這種方法是對環境建模。這表示，我們要創建一個模型，來表示環境的行為。

問題是，每個環境都會需要一個不同的模型 (馬里奧每走一步，都會有一個新環境) 。這也是這個方法在強化學習中並不太常用的原因。

深度強化學習

所謂深度強化學習，就是在強化學習里，加入深度神經網路。

如圖，拿Q學習和深度Q網路 (DQN) 來舉例。

· Q學習，是利用一個傳統演算法創建Q-table，來幫助智能體找到下一步要採取的行動。

· DQN，是利用深度神經網路來近似Q值。

恭喜你讀到現在。這第一篇文章的信息量還是不小的。

有興趣的同學，可以堅持服用一療程。

這裡是本系列大綱的傳送門：