深度學習在量化投資方面都有哪些可以借鑒應用的地方？如何結合一些策略方法？

01-16

現在最流行的深度學習演算法，我覺得在量化投資這塊是可以借鑒應用的，但是具體的一些結合方法不是很熟悉，有沒有一些好的建議和一些具體的資料啊。謝謝拉

問題不是不收斂。懶得碼字解釋。建議多深度思考。

一般如果DL比如LSTM真的有用的話，那麼把LSTM中輸入的矩陣展成向量使用XGBoost去預測也會有不錯的效果才對。意思就是，可以先用強的線性分類器去試試，如果效果不錯，也許DL會讓模型預測效果有所提高，但也不會提高特別多，除非真的是數據量很大（比如上億條這種）。

如果真的要我說用DL在量化方面比較靠譜的應用場景，我覺得輿情分析算是一塊，畢竟NLP才是DL的一個主戰場，而且我也聽說有人純用輿情數據去做就取得了比較好的年化收益。

可惜大部分人首先沒精力也不願去做類似爬取大量輿情數據的前期準備工作，往往也更傾向於做把價格數據扔進一個黑箱跑這種暴力簡單的事情。但是如果這麼簡單搞就能賺錢，那早就一幫人去做了，輪不到你與我的。

deep learning只是機器學習或者統計分析中的一個小分支而已。它可以解決問題也無外乎是分類和回歸的問題。

它絕不是一個神奇黑盒子：你無論扔什麼數據進去都可以發現所謂holy grail。

所謂garbage in garbage out。你對輸入數據沒有概念，也別指望有任何一個模型可以幫你。

相反，如果你已經對數據有了一個想法，deep learning也只是武器庫中的一把比較流行的槍而已。

DL的區別在於隱含層更多一些，但是在實際應用中很難確定多少的隱含層更合適，神經元的個數和深度會對結果產生多大影響也很難確定，而且神經網路是一個「黑盒子」，最後得出的結論很難被解釋，這些都是在實際應用中需要解決的問題。我做了一些研究發現，由於金融序列的厚尾分布特徵，加之神經網路後向更新權重的演算法特點會非常容易導致過擬合，也就是應用中的準確率要遠低於擬合的準確率，因此最為關鍵的問題是設計一種能夠反映金融序列厚尾特點的權重更新演算法，理想的方法就是直接計算，但是深度神經網路參數太多，直接計算不太可能，只能採取對一些關鍵因素或者關鍵特徵進行直接計算，即便如此，運算量也是大得嚇人。

作為一個專業的量化平台我來發表下自己的看法

首先，深度學習是機器學習的一個新的領域，它基於多層神經網路對數據中的高級抽象進行建模，其動機在於建立、模擬人腦進行分析學習的神經網路，模仿人腦的機制來解釋數據。從市場微觀結構的角度來說，股票價格的形成和變化是由買賣雙方的交易行為決定的，對高頻市場行情數據利用深度學習方法進行挖掘可以獲得對未來股票價格走勢有預測能力的模式。借鑒廣發證券《深度學習之股指期貨日內交易策略大數據——深度學習系列之一》（下文簡稱為報告一）和《深度學習演算法掘金ALPHA因子——大數據深度學習系列之二》（下文簡稱為報告二），分享一下深度學習在量化投資策略的兩個方向——擇時策略和Alpha策略上的應用。

在短線預測方面，西蒙斯的壁虎式投資理論告訴我們，投資時在短線內是可以進行方向性預測，捕捉到短期套利機會的。基於深度學習的交易策略就是藉助於深度學習對大量的歷史交易數據進行學習，建立預測模型，從而在實際交易中捕捉到短期的交易機會。一般的，預測時間間隔越短的話，機器學習模型的預測能力會越強。報告一考慮股指期貨的1秒級高頻數據。在預測模型輸入的選擇上，選擇短期內的股票價格，價格的變化範圍，買賣盤價格和委賣委買量等。預測模型的輸出是未來短期內的漲跌方向。當深度學習預測模型訓練好之後，給出兩條交易準則：第一，給定閾值，只有達到或超過閾值的預測得分才會觸發買賣信號；第二，交易中的開倉和平倉都由買賣信號觸發。具體的交易策略如圖一所示。通過股指期貨高頻價格預測模型的實證研究，報告一驗證了深度學習這一大數據時代的機器學習利器在股票價格預測上的有效性，基於預測模型提出的股指期貨交易策略也取得了良好的效果。

圖1：基於深度學習的短線預測交易策略

在Alpha策略方面，選取因子時要使得所選因子在一定的操作周期內具有較大的Alpha，即超額收益。如果某因子與股票未來一段時間內的投資收益直接相關，則該因子可以作為Alpha策略的備選因子。基於深度學習的交易策略就是藉助於深度學習對大量的歷史交易數據進行學習，建立預測模型，從而獲取Alpha因子，即深度學習模型的預測得分。報告二提出的基於深度學習的Alpha策略如圖二所示。綜合考慮到模型預測的準確程度和交易成本，報告二考慮的是以周為換倉周期的多因子策略，預測模型也選擇以周為預測周期，即在每天收盤的時刻進行預測，每次預測的對象都是該交易日之後第5個交易日收盤時刻股價相對於當前收盤價的漲跌情況。採取滾動預測的方式來建立深度學習模型，即每年訓練一次模型，用來預測此後的股票漲跌幅，如圖三。根據前面的預測模型，可以獲得個股在T=5個交易日之後大幅上漲預測的得分ScoreUp和大幅下跌預測的得分ScoreDown，由此可以建立起類似多因子選股模型的交易策略。實證分析中，在組合規模為100的情況下，該多因子Alpha策略累積收益率超過120%，各年度收益率都超過15%，超越了傳統的Alpha因子。

圖二：基於深度學習的Alpha因子策略

圖三：基於深度學習的滾動預測模型

但是深度學習對於數據數量要求較大，對數據質量要求較高，並且可能存在過擬合問題，因而在策略構建時如何選取數據、調參、減小過擬合的問題是有待進一步探討的。

想要學習更多關於量化的知識么？快快加入我們京東量化吧！

http://quant.jd.com/college/index?from=zhihuwenti1

作點提示, 但細節不便透漏, 先講些誤區, 再講些方向

模型有沒用處跟用什麼模型似無關係, 早些之前有不少人理工人搞什麼小波傅立葉分析, 對經濟學完全沒有概念卻侍才無恐, 抓了不知所云的數據就建模, 最後不知道自己為啥失敗. 要認知到你試了一堆模型後, 總會有一兩個模型, 單純因為隨機而出現p-value顯著的狀況, 這種偏差比過擬合還難以探測. 用了這種模型的話, 一開始賠錢還好, 要是不小心因此賺了錢, 誤以為模型有效而加碼, 接下來就會損失慘重, 這裡就有篇簡報, 說為啥大部分的金融建模都出錯了, 而且即便是現在, 也沒幾個新發表的論文有排除這種偏差

http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2599105

p-value或者其他檢定值, 甚至是交叉驗證, 都可能因為偶然而出現看來很好的結果, 單看檢定值是不足為侍的. 至於怎避免這誤區, 下面問題的答主講到了個金玉良言: 先有思路, 再有量化

高頻交易都有哪些著名的演算法？ - 量化交易

我跟他不同的是, 他做的是高頻博奕的思路, 我要提的想法思路則是比較經濟學上的

這裡提一個誤區及一個想法就打住, 細節就不透漏了

從單一資產的過去價格預測未來價格幾乎不可行, 卻有不少人往這方向去. 價格的驅動主要受到外在經濟事件影響, 驅動到市場認同的價位後便停下來. 若是沒什麼外部的經濟事件, 那麼價格波動就純屬隨機, 例如某大戶老王下單時打噴嚏, 按錯鍵亂買一通, 這種蝴蝶效應那也能造成一系列市場波動. 對歷史價格建模等於是對這種沒什麼經濟意含的隨機事件建模, 垃圾進垃圾出

有了價格是啥驅動的概念之後, 接著就能有想法了, 多數人對外在經濟事件的了解是源自新聞, 要是能更快地比經濟金融人或大戶更快地解讀新聞, 並迅速作出交易就能佔得先機. 深度學習在用自然語言處理解讀新聞方面就有長處, 這就是個方向了. 實證上這類方法就算神經網路參數偏少, 還是照樣能抓住驅動價格的特徵, 且不會有啥參數過多或不收斂過擬合的問題.

總結一下, 人類知識有量化方法無可取代的高度, 據我所知巴菲特跟索羅斯也有再用量化, 但都是先有想法後, 再用一些單純的回歸分析驗證, 完全沒什麼火箭科學的東西. 相較之下, 各種數理奇才成立的對沖公司都倒了好幾輪, 一般人犯了生存者偏誤survivorship bias, 才會覺得對沖似乎都賺錢, 其實大部分在進入大眾眼帘之前就瞬間破產, 破產的速度比傳統搞經濟分析的公司快無數倍, 沒啥緩衝期

選對的思路遠比選錯思路在試圖靠複雜的模型擬合結果有效，前者叫投資，後者更接近意淫。神經元網路都有很多理論問題沒解決，dl更別說了。當然拿dl去做nlp然後輔助投資這種我知道有人在搞，dl估計也就在這類前處理上有點用。

我覺得深度學習技術可以作為量化投資技術的補充，量化投資是在統計學、計量經濟學的基礎上發展起來的，其因果邏輯是清楚的；深度學習主要是指機器學習中的深度神經網路，而神經網路的特點是「黑箱操作」，在特徵選取時，將你認為可能相關的特徵準備好即可，之後不需要清的邏輯，以模型效果說話。另外，深度學習需要足夠多的數據，才能保證模型的效果。

量化投資中的宏觀面，基本面，技術面的數據並不算多，而且有很清晰的邏輯關係，沒必要應用深度學習技術，非要應用的話也可以。

市場情緒，新聞輿論在中國股市的作用很大，這部分數據的採集和分析可以應用深度學習技術。

目前，深度學習主要應用在圖像識別領域，比如無人駕駛技術、美國電影中的衛星定位人臉。在金融領域的智能投顧，也有人在用。在金融文本輿情上也有人在用，比如布爾財經官方網站。

個人一點思考。利用非監督學習甚至深度學習找到更好的特徵

比如找到大漲的股票，然後看大漲前一段時間的形態有沒有相似的，利用非監督學習的方法。
套利是看股價的相關性，這樣的關係可能不是那麼明顯地存在於股票的價格中，可能存在於收益曲線中或者方差曲線中，甚至更高複雜度的統計量中。深度學習提供了將原數據投影到另一個特徵空間中的方法，而且是高度非線性的。那麼，原數據中沒有體現出來的相關性，會不會在這種高度非線性的投影空間中體現出來呢？

很多機構已經對機器學習、深度學習進行了研究。分享一些資料【資料分享】Python、研究報告、計量經濟學、投資書籍、R語言等！(Book+Video)，包括

國信證券金融工程
大券商2016年年度投資策略報告
光大證券
海通證券
申萬大師系列
他山之石系列
中信證券
廣發證券

比如廣發證券的

"大數據深度學習系列之二——深度學習演算法掘金ALPHA因子"

"大數據深度學習系列之一——深度學習之股指期貨日內交易策略"

"互聯網大數據挖掘系列專題之二——公告披露背後隱藏的投資機會"

"互聯網大數據挖掘系列專題之一——基於網路新聞熱度的擇時策略"

。。。。

瀉藥，終於有人聞到這個問題了。

之前和@量化交易張展交流過這些問題，展爺其實也一直想搞點dl的東西，但是目前來看，dl做量化有幾個存在的問題。

首先，自然是模型不好確定。無論是做高頻還是做趨勢，交易得決策絕對比認圖來的複雜，主要是涉及的東西多。而dl本來就水深，你不可能說我找兩年數據直接丟rnn里，然後讓他預測吧。如何建立混合模型，很是問題。

另一個比較嚴重的問題，計算代價太大。你的交易模型就算不是動態更新，每周，至少每半個月你要重新加入數據訓練吧，那一次訓練多久？捨得花錢搞集群不，集群不穩定蹦了怎麼辦？都是考量因素。

當然，dl用在量化，絕對是有優勢，有前景的。不然老美那群礦工幹嘛沒日沒夜的研究dl。還是要對dl有一定的了解，加上市場上征戰多年的經歷，才能搞定屬於自己的深度量化交易模型。

另外祝展爺早日成為人生贏家！@量化交易張展

曾經試過，dl在量化上最大的問題是不收斂。所以沒找到好的方法，完全用dl。目前來看局部參數擬合用dl不錯，大策略還是得人工。

任何指望把數據往複雜模型里一丟然後就能掙錢的工作都是然並卵。

其實這句話可以擴展到整個大數據領域。

訓練者決定演算法優劣。扯來扯去扯這麼多亂七八糟高深莫測連篇術語滿屏中英夾雜盡顯高大上除了裝個逼還能有毛用。

在這兒說說其中幾種主流深度學習有關在量化投資的模型

1. 在flash boy一書中說，其中最賺錢的一種當然是高頻交易(High frequency trading)，他們除了有秒級的數據外，最重要的是交易速度也是毫秒級的，因此他們獲利是套現獲利也就是arbitrage，就是說你即使你能使用深度學習做出那個模型去做那種獲利，也不能做到那種上網速度，因為人家可是專程搭建一條上網線直接到交易所。

2. 第二種的當然是用資訊，新聞和市場sentiment那種的，那種比較qualitative的，以收集twitter和新聞上的，我當初對這種模型感到反感，心想深度學習來做這個也不能準確估計股票吧？後來看到美國Robert Mercer的故事，完全對這種做法改觀，首先robert是個對沖基金的ceo，電腦學背景，然而他對政治影響力極大，特朗普和英國脫歐的大支持者。為什麼呢？他除了捐錢外，也使用了自家Cambridge Analytica 的方程式，大慨就是先收集個人數據，分析用家立場和心理等，然後再過濾用家看到的內容，再而改變用家的想法。這種大慨是心理學，nlp和深度學習的合成方法，也許就像光明會一樣暗中操控結果。個人認為這種方法不但能預測市場，還能改變市場的想法。以下的圖是我把Michael Lewis的The Big Short 以深度學習分析的結果。可見字與字之間的關係真的能認出來，例如careful和unsuspecting，但是其他字眼關係也不太明顯，而且要收集到用戶數據再狙擊放廣告和新聞的話，難度也不低呢。

BenjiKCF/Word2Vec-for-The-Big-Short

3. 第三個方法應該是我們都在想的，以過住股票價格或是基本面資料來預計，可你看過隨機漫步華爾街的話，應該會覺得這是不可能的吧？但結果亦是不肯定的。以小弟正在做的LSTM recurrent network來把股票過住的歷史都放進去，

BenjiKCF/Neural-Network-with-Financial-Time-Series-Data

結果如下：

這是400天的數據，以昨天的Open High Low adj. close來推算當天的adjusted close 價。準不準確就見仁見智了，因為今天的price不會跟昨天差太遠吧。ps(這個應該不是overfitting，因為這是test set)

我就覺得準確還可以，當然還有很多改善空間有待更新。如果你問它為什麼能估計到，我也不知道，神經網路本來就是一個黑盒子。而RNN本來亦很容易給noise影響到。以簡單一點的思考就是，可能那個網路成為了一個技術分析的專家了，股價既是隨機又不會離昨天價錢太遠，所以任何model估計的mean square error也不會太差，只要模型學到了不要離昨天股價太遠就代表準確啦的這種偽準確。有興趣的同學可以在我github一起研究。

心想謝謝兄弟

不太可能吧。。。至少高頻應該不太

可能。。。計算機運算能力應該吃不消

」價值是本，投資是術「大家總是在追求用什麼裝備來挖金子，而不去看看自己在挖的是金子而是狗屎，價值投資，年化20%，遲早財富自由，與其研究這些，不如死拿格力電器，中國銀行，年化20%的盈利，妥妥的，呵呵

好像大家都很反感「把數據往模型里一丟就完事」的做法，反感Holly Grail，可人家有這麼做嗎？題主也沒說要偷懶啊，只是覺得DL很有希望，想借鑒一下而已

照我個人看法，DL絕對是交易武庫里的一把利器，核彈級別的，原理雖不明，效果卻強大，就像早期的微積分，理論一團模糊，但實踐卻是一日千里地發展著——最後理論不也跟上了嗎~~~

當然，要用好DL也不是那麼容易的，絕對需要大量的投入（時間、金錢、AND信念）

總之，誰也別偷懶，好好用好這個大殺器，悶頭掙錢就是

結果為先

感覺DL在股票中還是有希望的，它們都是有黑箱的特質，不過可能國內研究的還比較少，比較局部罷，但想靠演算法解決所有問題的想法目前是不太靠譜的