這裡是強化學習入門……的入門

原作:Thomas Simonini

牆化栗子 編譯自 FreeCodeCamp

量子位 出品 | 公眾號 QbitAI

強化學習是機器學習裡面非常重要的一個派別。智能體 (agent) 會不斷執行一些操作,通過結果來學習,在不同的環境中分別應該採取怎樣的行動。

在一系列教學文章里,我們可以了解不同的架構,來解決強化學習的問題。Q學習,深度Q網路 (DQN) ,策略梯度 (Policy Gradients) ,演員-評論家 (Actor-Critic) ,以及近端策略優化 (PPO) 都是將要涉及的演算法。

這是本系列的第一篇文章,你可以抓住的重點有:

· 什麼是強化學習,以及為什麼獎勵最重要

· 強化學習的三種方式

· 深度強化學習的「深度」是什麼意思

以上幾點,在進入強化學習的複雜世界之前,可能還是有必要了解一下。

這是個友好的引子

強化學習的中心思想,就是讓智能體在環境里學習。每個行動會對應各自的獎勵,智能體通過分析數據來學習,怎樣的情況下應該做怎樣的事情。

其實,這樣的學習過程和我們自然的經歷非常相似。想像自己是個小孩子,第一次看到了火,然後走到了火邊。

你感受到了溫暖。火是個好東西 (+1) 。

然後就試著去摸。卧槽,這麼燙 (-1) 。

結論是,在稍遠的地方火是好的,靠得太近就不好。

這就是人類學習的方式,與環境交互。強化學習也是一樣的道理,只是主角換成了計算機。

比如,智能體要學著玩超級馬里奧。強化學習過程可以用一個循環 (loop) 來表示:

· 智能體在環境 (超級馬里奧) 里獲得初始狀態S0 (遊戲的第一幀) ;

· 在state 0的基礎上,agent會做出第一個行動A0 (如向右走) ;

· 環境變化,獲得新的狀態S1 (A0發生後的某一幀) ;

· 環境給出了第一個獎勵R1 (沒死:+1) ;

於是,這個loop輸出的就是一個由狀態、獎勵和行動組成的序列

而智能體的目標就是讓預期累積獎勵最大化

獎勵假說為根基

問題來了,目標為什麼是預期累積獎勵最大化?

因為,強化學習原本就是建立在獎勵假說的基礎之上。想表現好,就要多拿獎勵。

每一個時間步 (time step) 的累積獎勵都可以表示為:

或者

不過,我們沒有辦法把獎勵直接相加。因為遊戲里,越接近遊戲開始處的獎勵,就越容易獲得;而隨著遊戲的進行,後面的獎勵就沒有那麼容易拿到了。

把智能體想成一隻小老鼠,對手是只貓。它的目標就是在被貓吃掉之前,吃到最多的乳酪

就像圖中,離老鼠最近的乳酪很容易吃而從貓眼皮底下順乳酪就難了。離貓越近,就越危險。

結果就是,從貓身旁獲取的獎勵會打折扣,吃到的可能性小,就算乳酪放得很密集也沒用。

那麼,這個折扣要怎麼算呢?

我們用γ表示折扣率,在0和1之間。

· γ越大,折扣越小。表示智能體越在意長期的獎勵 (貓邊上的乳酪) 。

· γ越小,折扣越大。表示智能體越在意短期的獎勵 (鼠邊上的乳酪) 。

這樣,累積獎勵表示出來就是:

簡單來說,離貓近一步就乘上一個γ,表示獎勵越難獲得。

片段性任務還是連續性任務

強化學習里的任務分兩種。

片段性任務 (Episodic Tasks)

這類任務,有個起點,有個終點。兩者之間有一堆狀態,一堆行動,一堆獎勵,和一堆新的狀態,它們共同構成了一「集」。

當一集結束,也就是到達終止狀態的時候,智能體會看一下獎勵累積了多少,以此評估自己的表現

然後,它就帶著之前的經驗開始一局新遊戲。這一次,智能體做決定的依據會充分一些。

貓鼠迷宮為例的一集:

· 永遠從同一個起點開始

· 如果被貓吃掉或者走了超過20步,則遊戲結束

· 結束時,得到一系列狀態、行動、獎勵和新狀態

· 算出獎勵的總和 (看看錶現如何)

· 更有經驗地開始新遊戲

集數越多智能體的表現會越好

連續性任務 (Continuing Tasks)

永遠不會有遊戲結束的時候。智能體要學習如何選擇最佳的行動,和環境進行實時交互。就像自動駕駛汽車,並沒有過關拔旗子的事。

這樣的任務是通過時間差分學習 (Temporal Difference Learning) 來訓練的。每一個時間步,都會有總結學習,等不到一集結束再分析結果。

探索和開發之間的權衡

在討論強化學習的幾種方法之前,必須講到這件事。

· 探索 (Exploration) 是找到關於環境的更多信息。

· 開發 (Exploitation) 是利用已知信息來得到最多的獎勵。

要記住,目標是將預期累積獎勵最大化。正因如此,它有時候會陷入一種困境

小老鼠可以吃到無窮多塊分散的乳酪 (每塊+1) 。但在迷宮上方,有許多堆在起的乳酪(+1000) ,或者看成巨型乳酪。

如果我們只關心吃了多少,小老鼠就永遠不會去找那些大乳酪。它只會在安全的地方一塊一塊地吃,這樣獎勵累積比較慢,但它不在乎。

如果它跑去遠的地方,也許就會發現大獎的存在,但也有可能發生危險

程序猿需要設定一種規則,讓智能體能夠把握二者之間的平衡

強化學習的三種方法

前菜吃完了,我們終於要開始講解決強化學習問題的方法了。三種方法分別是:基於價值(value-based)、基於策略(policy-based)以及基於模型(model-based)的方法。

基於價值 (Value-Based)

這種方法,目標是優化價值函數V(s)

價值函數會告訴我們,智能體在每個狀態里得出的未來獎勵最大預期 (maximum expected future reward) 。

一個狀態下的函數值,是智能體可以預期的未來獎勵積累總值,從當前狀態開始算。

智能體要用這個價值函數來決定,每一步要選擇哪個行動。它會採取函數值 (就是Q值) 最大的那個行動。

在迷宮問題中,每一步我們都選取最大函數值:-7,-6,-5,以此類推,達到目標。

基於策略 (Policy-Based)

這種方式,會直接優化策略函數π(s),拋棄價值函數。

策略就是評判智能體在特定時間點的表現。

把每一個狀態和它所對應的最佳行動建立聯繫。

策略分為兩種,

· 確定性策略:某一個特定狀態下的策略,永遠都會給出同樣的行動。

· 隨機性策略:策略給出的是多種行動的可能性分布。

從圖中我們可以看到,策略直接指出了每一步的最佳行動。

基於模型 (Model-Based)

這種方法是對環境建模。這表示,我們要創建一個模型,來表示環境的行為。

問題是,每個環境都會需要一個不同的模型 (馬里奧每走一步,都會有一個新環境) 。這也是這個方法在強化學習中並不太常用的原因。

深度強化學習

所謂深度強化學習就是在強化學習里加入深度神經網路

如圖,拿Q學習和深度Q網路 (DQN) 來舉例。

· Q學習,是利用一個傳統演算法創建Q-table,來幫助智能體找到下一步要採取的行動。

· DQN,是利用深度神經網路來近似Q值。

恭喜你讀到現在。這第一篇文章的信息量還是不小的。

根本停不下來

有興趣的同學,可以堅持服用一療程。

這裡是本系列大綱的傳送門:

Deep Reinforcement Learning Course?

simoninithomas.github.io圖標

歡迎大家關注我們的專欄:量子位 - 知乎專欄

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。

量子位 QbitAI · 頭條號簽約作者

?? ? 追蹤AI技術和產品新動態


推薦閱讀:

VC眼中的人工智慧!
機器學習-各種 Learning 概念簡明介紹
使用sklearn來進行驗證碼識別
A Hierarchical Model of Reviews for Aspect-based Sentiment Analysis
機器學習基礎與實踐(二)----數據轉換

TAG:強化學習ReinforcementLearning | 人工智慧 | 機器學習 |