CS 294: Deep Reinforcement Learning（10）

Berkeley深度強化學習的中文筆記（10）：Advanced Policy Gradient - pathwise derivative

這節接著第6節（策略梯度）的方向，探討另一種策略梯度的方法（PD），以及提出、總結一些先進的策略梯度有關的思想，提出SVG和DDPG演算法，應用到連續控制的環境中，得到了很好的表現，最後總結了policy gradient與Q-learning的優劣。

兩種策略梯度的方法：得分函數（score function）和路徑導數（pathwise derivative）

首先來回顧一下之前講的策略梯度方法：考慮期望函數：，想要計算的梯度：

經過第6節的推導可知：，在實際應用時，可以對x採樣：，來得到該期望梯度的無偏估計。現在把這種計算梯度的方法稱為score function（SF）方法。這種方法的好處是無論是否連續，其導數是否可求，都能計算梯度。

pathwise derivative（PD）：

另一方面（採用Reparameterized技巧），可以假定我們有一個隨機變數服從某一固定分布，是的確定性（deterministic）函數，即，為確定性的參數，那麼對x的採樣就是，先對z的採樣，再轉換為x（實際上計算機中常用這種方法配合cdf來採樣複雜分布）

因為對x的採樣就是對z的採樣，所以等價於，

然而求這個梯度的梯度就需要是連續的，而且導數是已知的。我們稱這種方法為pathwise derivative（PD）（稱pathwise是因為當隨機量z固定時，改變就是在改變整條路徑x，然後根據路徑的局部變動導致的獎勵變動，來確定路徑的改進方向。而SF則是固定了採樣路徑x，變動概率）

（如果記性好的話，會發現在第3節中「基於模型的強化學習的版本2.0「其實就是PD的思想，而當時是對於確定性策略而言的）

這樣同樣的期望梯度有兩種求解方法，對於連續已知的模型可用pathwise derivative，而對於不連續或未知的模型只能用score function。實際上，雖然兩者都是對同一期望的估計，但PD的採樣方差會比SF的方差小。

第三種：數值導數PD：

很自然的想法，我們可以對PD中的f導數用數值導數來代替：（為方便起見，假設是一維情形）

實際上，這種方法和score function（SF）方法在有些情況下有相近的地方。

特別地當我們取時，通過簡單的計算可以證明，因此在這種情況下SF做的是隨機取動作空間中的一個方向z，考察這一方向的獎勵大小。

SVG：將pathwise derivative（PD）應用到MDP中（需要連續情形）

對於RL中的常見MDP情形：

所有動作服從帶參數的策略分布，想要求，可以用之前的SF：。

另一方面我們也可以用Reparameterized技巧：假設，服從某一固定分布，那麼MDP就變為了：

利用PD：，然而需要知道狀態轉移概率。而有模型的RL就是解決這個問題的，但是我們可以利用Q-function來代替解決：（假定都是連續的）

將外界的獎勵用Q-function來代替，而Q-function可以用模型（nn）來近似。

這就是SVG(0)演算法的思想，在15年paper《Learning Continuous Control Policies by Stochastic Value Gradients》中被提出。

SVG(0)演算法：利用來近似，並以此進行策略梯度：

其中之後會說，可以認為是泛化的Advantage Estimation。可以說SVG演算法和DQN有很大相似之處，都是根據當前Q-值來選擇或優化策略，然後從採樣路徑中得到Bellman Backup或類似的target來更新Q。

這篇paper在這個思想上還做了很多變種演算法：

SVG(1)演算法：可以學習V-function：和動態模型f：，然後根據這兩者來定義Q-function。這裡有個小trick，因為直接用近似的動態模型f，與真實情形會有很大的偏差不利於正確地確定Q。為此假設近似模型f與真實模型之前的差異是由較大的雜訊引起的，給定採樣路徑雜訊可以用來求出。那麼在計算Q值時：，在對其求導時，根據採樣路徑來固定所有的隨機變數/雜訊，使用這個trick後，V的值就不會受動態模型f的較大偏差影響。

SVG( )演算法：SVG(1)是向後走了一步來確定Q-值，進一步，可以向後走無窮步來確定Q-值，那麼只需要學習動態模型f：。那麼給定一條路徑，需要確定路徑上所有的雜訊，然後沿著路徑反向傳播梯度。在原paper中，採用了另一種推導方法，採用V-function的Bellman equation來推導V的梯度，根據導數公式來反向傳播：（和基於模型的RL的梯度直接傳入策略十分相似）

model-free的SVG(0)演算法和model-based的SVG(1)、SVG()演算法的優劣取決於外界的環境模型十分容易學到，而且與目標緊密相關。一般來說，對於固定的環境模型，而reward函數改變（如2D的連續控制任務），model-based的演算法更好一些。在實驗中，對於一些2D的連續控制任務，SVG(1)、SVG()能勝過A3C演算法。而且加入Experience Replay之後，成果有顯著提升。

SVG演算法與基於模型的RL的梯度直接傳入策略思想相似且直接，區別是：梯度直接傳入策略的return是有限T步return，只需要學習actor網路，而SVG是無限有折扣return，用值函數來代替無限return，因此除了要學習actor，還要學習更新critic網路。

確定性策略梯度Deterministic Policy Gradient（DPG）

能觀察到一下事實：對於服從Gauss分布的動作，採用score function策略梯度來估計，那麼當Gauss分布的方差趨於0（確定性動作）時，SF估計的方差會趨於。這是因為在之前有證明，時，，當，策略梯度的方差，因此SF方法對於確定性動作會有很大方差。

但對於SVG(0)梯度方差則是不會有很大影響：。

但確定性的問題是探索會不夠，那探索時可以加點雜訊（如 Ornstein-Uhlenbeck process作為雜訊），然後用TD(0)來作為目標Q。只是這樣的策略梯度有一些偏差，由於state的分布是由有雜訊的策略產生的（當然如果Q和有無限的表示能力，每個狀態獨立學習，那麼就沒有偏差了）。

在對Q網路更新時，值得注意的是TD(0)： 為TD-error來作為Q的loss function時，這樣的Q Bellman backups是off-policy的，與探索策略無關。這是因為目標Q= ，後一個等式是由於 是確定性策略，而最右邊的式子就是expected Sarsa的目標Q，而expected Sarsa是off-policy，所以DPG也是off-policy的。

至於expected Sarsa是off-policy的，可以看看Sutton書的第六節。

DDPG（Deep Deterministic Policy Gradient）：

在15年paper《Continuous control with deep reinforcement learning》中就將DPG與DQN結合起來，使用了DQN中的replay buffer和target network來增加穩定性。

因為之前講了DPG是off-policy的，因此可以用replay memory來加快學習速度。

而DDPG中採用的target network與DQN的有所不同：DQN中的target network是1000個回合後才更新一次，而DDPG的target network每步都更新，但都只更新一部分： ，TAU是個很小的數。

DDPG演算法：

其中目標Q用TD(0)：，其中 代表了使用target net來計算目標Q。

原論文中詳細的演算法，所有細節一覽無餘：其中在更新actor網路，計算 時，採用了鏈式法則。

SVG演算法是DPG演算法的隨機版本，在實驗中，對於簡單2D連續控制任務，SVG的效果比DPG好一些。

Policy Gradient Methods vs Q-Function Regression Methods

• Q-值迭代類型的演算法更加sample-efficient，但是泛化性能較弱。（在實驗中（如Atari），Q-learning能做好的，Policy Gradient也能做好）
• Policy Gradient容易Debug和理解（在hw4中可以看到）：不存在真空期，訓練時學習曲線一般單調上升，可以用KL，entropy來對比新舊策略
• Q-值迭代能與探索策略很好的相容，因為它是off-policy的，replay memory能大大加快速度。
• Policy Gradient能與循環策略（使用RNN）很好相容
• Q-learning雖然可以用在連續動作中，但效果會很差。
• Policy Gradient能產生隨機性的動作，並自動調節各個動作的概率。而Q-learning只能產生最greedy的動作。因此在狀態空間有遮蔽的環境中有隨機性的Policy Gradient會更好。

總結：

這節主要總結了兩種策略梯度的方法：

• REINFORCE / score function estimator：

其中為優勢估計，用來減小方差，可以通過學習Q或V得到

• Pathwise derivative estimators：
• SVG(0)/DPG:（學習Q, model-free, off-policy）
• SVG(1):（學習V和f, model-based, off-policy）
• SVG():（學習f, model-based, on-policy）

總的來說，PD方法比SF更加sample-efficient和低方差，但是有很大bias，因此在很多情形下效果不太好。

DDPG實驗：

根據DDPG論文的演算法以及其附錄中的網路配置。應用於gym中的"MountainCarContinuous-v0"環境。

網路配置（論文）：

實驗代碼：https://github.com/futurebelongtoML/RL_experiment/blob/master/ref_DDPG.py，

關於代碼部分，要感謝 @tx fan 提供的源碼，我對他的源碼進行一點改進，為了更好的實驗效果。

實驗結果：

可見在10個episode後，agency以及基本掌握了如何爬坡

100個episode時的結果：

可以看出DDPG演算法在適當調節參數後，在連續運動空間的環境中有十分出色的表現。