CS294 深度增強學習 這門課的質量是不是不大好？

本人之前學過 cs188x人工智慧導論(已包含Q-learning等基礎RL內容)、cs231n深度視覺辨識、cs224n深度自然語言處理，這些課聽完上課影片之後，都有打通任督二脈的感覺，作業也稍加思考就能知道是要把上課投影片的哪些概念用上，但這門 Berkeley cs 294 - 112 學習起來，真的是一頭霧水，首先，他很多時候是在講他們實驗室的論文，問題是我們又不是他實驗室的，在缺乏相關實務經驗下，根本不能吸收他們那麼虛無縹緲的高層次觀念。他們既不好好分析一個網路架構，也不會把演算法完整寫出來，一張投影片step1、2、3、4，想法就帶過去了，然後接著播放機器手臂的影片晃呀晃的，到底是想傳達怎樣的概念給學生？我什麼都沒學會，只知道他們實驗室做得不錯，然而這門課本身質量，實在不能苟同？誰真的啃完過 cs294 的材料，能給予一些學習方針嗎？感謝

---

是否和基礎有關係。

DRL涉及深度學習和強化學習的知識，尤其是強化學習的知識比較多，DL和RL的基礎知識做鋪墊，直接上手聽是會比較難。

我自己之前也是直接學習DRL內容，發現沒有強化學習基礎，根本沒法學，所以只能怪怪的去學習RL，對於RL：RL Course by David Silver 課程，<純乾貨-3>Deep Mind Reinforcement learning course Lecture 1_2，這裡是第一次和第二次課，你可以看看。

還有建議是先看看一些綜述文章，先了解一下為好。比如：

中文版：深度強化學習綜述_兼論計算機圍棋的發展

DRL本身涉及知識就很多，一步一步來，祝好。

最後，歡迎掃描我的頭像關注公眾號「深度學習與NLP」，我們會經常分享些深度學習的視頻教程，或者論文啥的。最近開始關注深度強化學習了。

希望對你有用。

---

這門課從我的視角來看非常好，覆蓋面很好，內容很前沿

不知道是不是研究生課程，需要有足夠的基礎，內容組織比較隨意。這個課主要要聽的不是每個演算法怎麼作，而是怎麼想，沒有基礎的感覺可能會比較難跟上

---

重磅推薦組合：

教材：那必須是RL an introduction了，Reinforcement Learning: An Introduction

視頻課程：UCL David Silver RL, Teaching

配套代碼（Python）：ShangtongZhang/reinforcement-learning-an-introduction

---

CS294 Fall 2017意識到了題主所提的問題，做出了很大的更新2333

CS 294 Deep Reinforcement Learning, Fall 2017rll.berkeley.edu

現在強烈推薦這門課程！

課程基本可以分為DRL介紹+模仿學習、model free、model based、Exploration+遷移+多任務+Meta-learning等四大部分，一共有四個很有趣的assignment（比春季的更好了）。

如果你看過david silver的視頻並且有機器學習的基礎，那麼至少你在model free部分是沒問題的。秋季課程其實降低了對RL基礎的要求，課上推導過程比較清晰。

這門課後半model based部分恰好是對david silver等當前已有的課程、書籍里講的比較少的內容的非常大的補充，不過這部分要求比較高。

最後慣例推薦我的代碼：Observerspy/CS294，歡迎star和watch。

最近在整合斯坦福CS234（可惜沒有視頻，assignment還是值得看看的）和CS294的assignment內容，後續將在我的專欄里進行講解，歡迎關注！

喵神大人的深度工坊zhuanlan.zhihu.com

---

當時我學習的時候也是這樣。跟著課程的進度看ppt，看著看著就看不懂了。

然後看了david silver 的ppt還有sutton那本書第二版，再回來看就看懂了（這已經是一個月以後了）。

這個課確實不太適合初學者，而且正如樓主所說ppt里一個勁引用自己lab的paper，不過範圍比david silver那個更廣，感覺更貼近研究前沿。

---

更新：

看到了17年秋季課程，覺得更像一門課了，哈哈。之前第一次開這個課，感覺是一堆報告的合集。現在很推薦這個課。

原回答：我感覺當有需要的時候，再去學習需要的東西是一個比較好的策略。因為研究生階段知識是學不完的，而且如果你沒有產生需求就去學一門課，那可能你不太能理解到所講的東西有啥用處。

當然我也是正在學習DRL，給出一些我的看法供你參考。如果你是想了解一下DRL的話，那不適合看這門課，這門課是著眼於具體研究方向的。感覺目的是讓學生們了解他們的研究內容，而不是著眼於介紹什麼是DRL。他所講的是DRL怎麼應用在他們的研究方向，而不是DRL方法本身。

---

一句話總結:對於新手，隔壁斯坦福cs234好多了

最近在學Reinforcement learning…學了三天Berkeley的294實在學不下去了…轉而想找一些稍微新手向的論文博客之類的…發現了隔壁斯坦福的cs234…雖然只有slides但條理清晰簡單易懂得多…也實用的多…以前也是通過看斯坦福的其他課程才意識到教學水平的差距的…沒想到和Berkeley在這門課上相差這麼大…斯坦福大法好

---

最近經評論區提醒發現是因為自己沒Reinforcement Learning的基礎，而294是要求有一定基礎的，所以才看不懂。。。之前的回答主體部分就不修改了，大家就當了解一下新手強行上294的體驗吧。

---

2017 Fall Sergey Levine教授講授DRL，之前看過UCL的課，覺得Prof. Levine的課甩Prof. Sliver幾條街。看這門課之前把Sutton的書看一看就好...但是我覺得Sutton比較淺而且東西比較舊...Sliver基本沒有把握好節奏...就是對著Sutton的書把簡單的概念翻來覆去講，然而拓展點和難點完美略過...

嗯...以上

---

首先，這門課很不錯，我這學期去蹭過一兩節。

要注意，這是一門研究生課程，而且這種課程本來不是上個lec就能掌握的，discussion/hw/project才是重點。另外，人家開這門課又不是專門提供給大眾看的，課上提一下自家實驗室論文很正常。而且，選這門課的同學許多都在實驗室搞科研，論文的細節自然不必在課上說，自己課後復現唄。

DRL現在在機器人方向很熱，而且也還沒研究透徹，離supervised learning的成就還差一大截。所以也別指望課程上會把所有問題講清楚。最新的成果可自行查閱論文。

---

cmu10703相對好多了，記得配上sutton的書。

---

推薦閱讀：