搞Reinforcement learning，除了OpenAI Gym，還有什麼測試平台？

OpenAI gym平台上的好多都是視覺輸入，但是對於一般的筆記本可能需要大量的計算時間，我想找一下有沒有不是視覺輸入的RL測試平台。

以前看過一個類似OpenAI gym的平台，它的輸入是一些特徵，但是忘了這個網站的名字了，不知道大家有沒有用過類似的平台？

- ALE：

Arcade Learning Environment，一個包含Atari 2600遊戲的AI測試平台（Gym中的Atari是對ALE的封裝）

paper: https://arxiv.org/pdf/1207.4708

- Gym Universe

http://gym.openai.com

http://universe.openai.com

這兩個均出自OpenAI。Gym不說了，Universe可以看成是升級版本的Gym，從名稱就可以看出來，包含了更多更複雜的環境（flash遊戲、PC遊戲等）。

- DeepMind Lab

主要是第一視角的3D遊戲環境，詳見paper以及DeepMind Blog的介紹

paper： https://arxiv.org/pdf/1612.03801

blog：Open-sourcing DeepMind Lab | DeepMind

- FAIR TorchCraft

Facebook開源的環境，主要針對實時策略遊戲（星際爭霸！）

paper：https://arxiv.org/pdf/1611.00625

- ViZDoom

一個基於第一人稱3D射擊遊戲Doom的RL測試平台

paper：https://arxiv.org/pdf/1605.02097.pdf

- TORCS

The Open Racing Car Simulato，一個3D賽車模擬環境

website：torcs

- MuJoCo

一個物理模擬引擎，主要是連續動作空間的控制類的task。Mujoco不是開源免費的，可以申請一個月的試用。另外Gym中有集成了Mujoco。

website：MuJoCo

- 此外，OpenAI還實現了一個專門針對連續動作空間問題的benchmark，並且實現了幾種連續動作空間的RL演算法。

paper：https://arxiv.org/abs/1604.06778

github：openai/rllab

——————

回答題主的疑問，其實Gym中很多environment狀態空間比較小（不是raw pixel），比如classical control裡面的task，Mujoco環境的狀態空間也不是圖像，而是模擬物的關節位置信息等。

——————

更新：

- Mujoco 現在支持學生賬戶免費使用一年，只需要使用學校郵箱進行申請即可，一個賬戶可激活一台機器。

- OpenAI 最近開源了一個控制演算法測試環境 RoboSchool，復現了 Mujoco 的一些 task（Humanoid 等），以及加入了 multi-agent 的支持。

github：openai/roboschool

可以參考下面這篇文章，一個關於現有RL測試平台的總結

Getting ready for AI based gaming agents - Overview of Open Source Reinforcement Learning Platforms

具體來看，OpenAI 前陣子推出了Universe (原來的Gym仍保留), DeepMind 方面有 DeepMind lab, 這兩者應該是當前關注度最高的RL測試平台了，其他的還有基於 Minecraft，Doom 等遊戲的測試。總的來說，的確大部分任務都是基於視覺輸入的遊戲測試。如果想做其他類型任務，機器人控制是一個選擇，比如 MuJoCo，在 OpenAI Gym 中就有。這類任務維數比視覺輸入要低，但一般都是 continuous control, 所以相比於玩遊戲中的 discrete control 也有其自身的困難。早一點的paper 可以參考 Continuous control with deep reinforcement learning，Benchmarking Deep Reinforcement Learning for Continuous Control。

話說去看看這個領域最新paper的話，你會發現大部分數值測試都會拿遊戲或者機器人控制來作為例子，個人感覺兩者中至少得選一個來展示實驗結果是繞不過的。

最後，很期待 Deep RL 能在其他類型的任務上引入標準化的測例，找到有價值的應用。

謝邀。

深度強化學習方面的軟體測試平台，大家可以參考我的一篇文章：深度強化學習軟體包總結 - 知乎專欄 。

另外， 單純的RL測試平台推薦一個：https://github.com/rlpy/rlpy 。 這個軟體包，我們課題組一直在用，挺不錯的。