Patterns for Research in ML

在 reddit 上面看到的關於如何organize research code的

• Patterns for Research in Machine Learning
• Principles of Research Code

感覺挺好的, 推薦.

Updates:

記錄幾個Code Smell:

1. metrics的種類很多的時候, 可以用一個data class把它們收集在一起. 這個不存在performance bottleneck的問題, 但是代碼會清爽很多 (e.g. Policy Gradient rollout).
2. logging不應該直接print到stdout stderr, 這樣不方便做分析, 可以用rllib裡面的類似UnifiedLogger 把log打到文件裡面 (json, msgpack, etc) 然後接下來在jupyter裡面分析.
3. RL的演算法只看reward收斂沒是沒用的, 可以根據演算法收集一堆metrics來分析(Kalman gain, value function results, TD error)
4. 待更.

推薦閱讀：