基於Pytorch1.0的Facebook開源強化學習平台Horizon

Facebook 開源了適合大規模產品和服務的強化學習平台 Horizon，這是第一個使用強化學習在大規模生產環境中優化系統的開源端到端平台。Horizon 包含的工作流程和演算法建立在開放的框架上（PyTorch 1.0、Caffe2、Spark）

Horizon的安裝步驟

cd到相應的目錄中:

git clone https://github.com/facebookresearch/Horizon.git

cd Horizon/docker/cpu/

在Linux上，您可以使用命令行中的特定內存分配來構建映像：

docker build -t horizon:dev --memory=8g --memory-swap=8g .

在進入容器後後，運行安裝文件

cd Horizon

./scripts/setup.sh

現在您可以運行測試

python setup.py test

同時，我們建議您創建virtualenv，以便可以在此項目中包含python依賴項。

virtualenv -p python3 env

. env/bin/activate

首先安裝依賴項

pip install -r requirements.txt

然後，將適當的PyTorch 1.0構建安裝到虛擬環境中：

# For CPU build

pip install torch_nightly -f https://download.pytorch.org/whl/nightly/cpu/torch_nightly.html

# For CUDA 9.0 build

pip install torch_nightly -f https://download.pytorch.org/whl/nightly/cu90/torch_nightly.html

# For CUDA 9.2 build

pip install torch_nightly -f https://download.pytorch.org/whl/nightly/cu92/torch_nightly.html

完成這些操作之後，您應該能運行所有測試單元

python setup.py test

Horizon 專註於將 RL 應用於大型系統。本次開源包含用於模擬環境的工作流程及用於生產預處理、訓練及模型導出的分散式平台。Horizon 平台已經提高了 Facebook 的性能，包括發送相關度更高的通知、優化流視頻比特率及提升 Messenger 中 M suggestions 的效果。但 Horizon 的開放性設計和工具集使得它可以惠及該領域其他研究人員，尤其是對利用 RL 從大量信息中學習策略的公司和研究團隊而言。Horizon 不僅是 Facebook 繼續投資 RL 的證明，也表明這個充滿希望的人工智慧研究領域現在可以用於實際應用。

推薦閱讀：