使用強化學習做出的拆單和下單演算法，和傳統的下單演算法相比，有哪些優勢？

01-15

@威廉姆斯YD 前輩在某篇回答中提到過，GS已經有團隊在使用Reinforcement Learning去開發新的拆單和下單演算法。
題主想問大家，和傳統的Market Microstructure model+隨機控制解出的Optimal Execution演算法相比，使用RL開發出的拆單和下單演算法，有哪些優勢？
不需要很強的模型假設？自適應？還有別的哪些方面？

性能上有什麼優勢我目前還看不出來，但是marketing上的優勢已經顯而易見了

據我所知各大BB都有在做RL的algo，有幾家已經到了「公測」階段。但我看到的數據還不足以看出和傳統algo有什麼顯著不同。

但是有些東西表面看似是個學術問題，內在其實是個business問題，是個飯碗問題，歸根結底是錢的問題。Algo trading這些年越發同質化，也變的越來越像operation和sales。RL algo不論對內還是對外都是個非常好的marketing piece，老闆可以占熱點要資源，員工也可以stay relevant，對誰都有利。

簡單說一下吧。在跨市套利上，我目前用的增強學習預測相對差價變動方向，和一些同行的傳統模型相比，在市場劇烈波動的時候，收益率更高，以及在下跌時，止損效果更強。

究其原因，主要是相比於傳統模型，增長學習對於市場變化的容錯魯棒性更強，而且對於趨勢的多種預測方案兼容性也更強。

大概好多少呢？以跑比特幣套利的模型舉例，9月份大跌30%的時候我的模型最大回撤只有4%。而我的一個腳本用戶購買了市面上所有可租用腳本，告訴我我的超額收益基本上比他用的別人的好2，3倍。

這一類我們統稱Market Impact Algo，目的是在對市場產生最小的影響的情況下完成交易。

其實現在對這些Algo我們也會定期做Tuning，這樣的話，Reinforcement Learning的方法去優化就比較好理解了，我們純粹是在現有的架構下，調整Algo的參數而已。

打個比方，就等於我們車都做好了，現在讓電腦用Reinforcement Learning去學怎麼開車而已。

這不是自己給自己找不痛快嗎？

上班成了一種修行，我們最終還是變成了佛系員工......-眾創空間聯合辦公-商務中心寫字樓-馬上辦公官網

純YY：可以自動更新policy，更好的平衡exploration和exploitation；現實還得看效果

LOL That"s really a joke.

Btw, I have never heard that GS has "quant trader" role.