機器學習、大數據、雲計算會端掉量化寬客的飯碗嗎？

01-14

這個問題加一點，你們認為量化高頻還能搞多久？假設統計數學，機器學習本身可以在超級強大的計算能力，以及大規模歷史數據下，訓練獲得非常好的模型，來幫助交易，幫助建立好的策略。那麼隨著機器學習演算法未來的普及化，大眾化（要有敬畏之心和，正如以前研發藥物需要幾個月幾年，現在專用計算機，雲計算，gpu下可以大大縮短研發時間，所以機器學習演算法在未來雲計算，摩爾定理可能短期就會有質的突破，屆時，一些公司利用這些新的研究成果封裝一大堆可配置的交易演算法是現實的，或者至少開發機器學習交易演算法的門檻變得很低）。那時候再加上超大數據，那麼每家機構都可以有很好的交易模型，屆時，量化達到一個均衡點，每家機構都是賺很少的錢，支撐生活。這時候量化策略人的飯碗呢？這是公開話題，可以討論—————————————————
現在的策略都是基於複雜的數學模型、概率、隨機過程等等。
但隨著未來數據量越來越大，公有雲、私有雲（數據保密）的興起，數據挖掘機器學習技術不斷提升，金融機構會大量採購這些設備（軍備競賽）引進這些技術去進行交易。5年以內大部分機構都會採用類似的人工智慧策略，類似的強大設備（因為如果不採用這些技術和設備的將會明顯被淘汰掉，因為賺不到錢，錢全讓人工智慧的公司賺去了）。所以最後做量化投資的就那麼幾家大機構，由於策略趨同，慢慢的量化套利、投資的利潤就很低了，就變成傳統行業。量化分析師、寬客也就變成了大公司的一個團隊，都是些數學、物理、計算機博士，來研究大數據、人工智慧策略的了。

純粹的數據挖掘式的做法，引入的雜訊遠遠大於引入的有效信息。實際上現在的大部分大數據演算法應用還是在推薦演算法、群體行為分析以及在金融的貸款違約分析這樣的領域。這些領域的特點，基本上是樣本容量大，樣本可以認為取自同一個抽樣分布中。

但是對於金融交易領域，這個基本上打交道的時間序列分析。交易領域對於這類分析最大的挑戰是我們根本不知道這些歷史數據是否可以認為取自一個抽樣分布當中。數據本身的不穩定性以及非線性會摧毀任何基於穩定過程的分析努力。

@李丞說的不錯。數據越大，雜訊也越多。

機器學習現在還不是主流。但我確實是看到過國外投行Quant 的報告，有開始使用機器學習的趨勢。那個報告給出了結果，是有明顯的alpha。

未來是否能成為主流（前提是比現在用的統計模型有更好的結果）不得而知。但Quant都是有數學物理背景，上手構建機器學習模型，應該不是難事。不會掉飯碗的。

樓主說的大概意思應該是因為大數據的出現而使得金融遊戲的信息熵變低吧，可能樓主忽略了蝴蝶效應，根據混沌理論就算是在理想化狀態下整個世界的任何細節的數據我們全都擁有，並且交易規則我們也清楚，博弈遊戲仍然是不可能達到完全有序的，還是一個混沌的狀態，也就是說量化策略會被優化，但是不可能到達趨同。（個人觀點）

看問題描述，題主有可能不是計算機行業從業人員。

現在每個行業、每個人都在說大數據、雲計算，似乎有了這個東西就可以大把撈錢無往不利。實際上，可能絕大部分人並不清楚到底什麼是大數據、雲計算。

所謂大數據，其實就是很多很多的數據，以及處理這很多很多的數據的方法。這更多的是一個純粹的計算機技術方面的概念。數據量的變化，會導致存儲和加工方式的改變。從計算機誕生之日起，一直到現在，數據的存儲和處理基本上都是在單台機器上上完成的。當數據量不斷增長時，應對的主要方法一是換存儲量更大，性能更好的機器，二是縮減數據，把所謂的冷數據（例如五年前的交易數據）導出到磁帶庫里。在這過程中，也有人提出了分散式存儲、並行處理的方法，有好的產品，比如td的數據倉庫，也有不好的，比如...但這些產品都有一個特點，技術保密，價格昂貴。進入互聯網時代，搜索引擎誕生了。搜索引擎要處理的網頁數據的增長是十分迅猛的，很早以前就已經到了pb級別，這是傳統行業不能比的。這種數據量，用傳統方法處理代價非常高，甚至是無法處理，基本上當時沒有一款主流資料庫敢說自己能高效處理pb級別的數據，td的數據倉庫也就是tb級別。為了應對這個問題，google開發出了一種分散式的數據存儲和加工方法，這種方法可以使用廉價機器組成集群，還能保證可靠性。並且，最重要的是，Google把他的核心演算法寫成論文發表了。之後誕生了開源的Hadoop，然後，pb級別的數據有了廉價的處理方法，再然後，全世界都開始大數據了。

而所謂的雲計算，可能更多的是一種計算服務方式的概念。他的幾個要點是，可分配計算資源，虛擬化，可伸縮，等等。

有了大規模的數據和數據挖掘的演算法，真的可以無往不利了嗎？恐怕不是這樣。以銀行業為例，以前我能處理一年的交易數據，現在我能處理所有的。用數據挖掘演算法來預測客戶行為，是不是使用所有的交易數據就比用一年的數據得到的結果更準確呢？恐怕結果可能剛好相反。為什麼？其實也好理解，你覺得自己十年做的事情和一周前做的事情，哪個對你明天做的事情影響大？

數據挖掘演算法本質上是統計學方法以及一些數學模型，這些演算法應用前，都需要對目標數據進行預處理，去除雜訊，提取高關聯度屬性，或者做一些數學變換等等。演算法本身對數據維度的大小也是有限制的，並不是越多越好。大數據對數據分析來說意味著什麼？可選擇的數據變多了，同時也要花費更多的時間來去除無用的數據。

對於數據分析來說，最重要的，還是合適的模型。

我一看標題沒看明白。

以後的交易是大數據，機器學習，雲計算的天下，這不正好需要quant?

你理解的quant是什麼？

汗，這不都是quant的同行么…端著一碗飯，怎麼搶？

這個問題就像當初：量化交易會踹掉手工交易么？

有一堆人否定，也有一堆人肯定，但時間最後會說明一切。

一樣，先進生產力會替代落後生產力。

我自己也只是普通的量化交易者，但深知有一天，更牛高科技到來的時候，一樣會被替代。

quant分買方和賣方兩種。賣方quant用BS model做期權定價很多年了，他們大概就是題主所說的quant吧。買方的quant用的方法很多，比較有名的有高頻交易和統計套利。單就統計套利來說，就會用到big data，machine learning等諸多工具。

先搞清楚是不是真的很重要，不然就會有題主這樣自問自答的情況出現

我只說一句：策略是人設計的。

「量化寬客」不就是玩這一套的嗎？工具越複雜，只會讓精通工具的人優勢越大。

金融在投機這個層面而言，本質上就是打打殺殺，和打遊戲沒什麼區別。量化交易就是開掛而已，虐菜鳥毫無問題，但真以為能無敵了？計算機只能遵循規則，而人的價值就在於破壞規則。另外光有技術不是萬能的，技術在權力面前不值一提，賺了錢也得有命花。

不過從提主的描述來看，還是停留在傳統技術分析或者說對結構化數據的挖掘階段。事實上我認為大數據技術更大的作用在於對非結構化數據的結構化處理，從龐雜的信息中提取有價信息。這早已突破了量價數據，是分析維度上的拓展，相當於開了第三隻眼。

有些人聲稱自己看新聞交易，新聞聯播傳達的是態度，但新聞事件最好第二時間就知道。比如風災，海嘯，地震，恐怖事件，重大違約等消息，裡面價值巨大，等先知先覺者都開始交易了，你才能在量價數據上分析出來，為時已晚。

機器學習、大數據、雲計算是工具或者技術，而寬客是一種職業，量化交易是一個行業領域，因此這個沒有搶不搶一說。

目前來看，國內的寬客雖然用機器學習、大數據的不是很多，但是隨著技術的進步，使用這些工具的會越來越多，量化交易的競爭也會更加激烈。

希望國內無論從政府機制還是人員的成熟度上都有大的提高。

強AI出現了，或許會出現這種情況，不過那時候人類保命要緊，賺錢這種事已不重要了。

對於金融市場這種極度複雜的混沌系統，純粹靠機器學習而不靠人是不行的。尤其是遇到個極端事件，如果處理不當，一夜都不用，幾分鐘讓你回到解放前。

數據確實越來越多，但雜訊的比例也越來越高。

話說回來，能多發掘幾個市場無效點已經很好了。

如果真的有一天全部是這些聰明人搞出來的系統互相廝殺，那麼價格將呈現完美的正弦波浪曲線，初中畢業生都能高拋低吸了。

如果匯聚眾生雜念的市場都能有效，我想這個世界也是有效的了。

量化交易還是交易，交易的最終對手是人/人設計的智能，不是一個數。

如果能預測人心，人類社會也就進入穩定態了。

不可能，quant工作一定是差異化的，否則根本賺不到錢。如果一些基礎的、it類的工作交給外部團隊，那還有可能性。

-----------------------------------------

竟然沒人給我點贊...

首先，機器學習，大數據在國內量化領域早已開始實際應用，用途和發展程度我就不細說了。其次，並不存在端不端飯碗的問題，若某些技術的應用能賺錢，自然會被吸收進來，但這並不意味舊有的方案一定會失效，並不矛盾。因為量化並不等於特定策略的集合，而是藉助計算機，數學，統計，計量經濟進行數據分析投資的方法。

蔣委員長座下高材生雲集，美援裝備精良，時不時上個時代周刊，高！大！上！然而還是被小米步槍虐成狗. 路線不對，知識越多越反動23333

現在還是主要人工吧，要是機器學習超過人類的思維，我同意樓上，人類的命運就看機器決定生死了，命隨時都沒了，還想著工作？

其實純粹演算法交易往往不如簡單邏輯賺錢，overfitting問題嚴重，自適應太難。當然也有做得好的