對於 Quant 來說, Financial Modeling 和傳統的機器學習方法有什麼聯繫和區別?

機器學習理論是基於統計學的, 而諸如時間序列分析、Monte Carlo method之類的方法也離不開統計學和經濟學。所以我在好奇是不是在掌握了ML的基本原理之後,再了解一些金融知識就可以嘗試Quant?


謝邀。年前太忙了,好不容易完成一個firmwide的大項目,趕回家過年,偷得半日閑,來回答馬年的第一個問題。

首先要說明兩點,一是我離開每天讀paper的日子已經有些時間了,精準的旁徵博引的能力急劇退化,所以引用的觀點的來源,很可能出現謬誤,請包涵;二是以下看法很多源自我自己的理解,因此很可能引起爭議。

從Quantitative Modeling的角度來說,有兩大主流的方向:Stochastic Calculus(隨機微積分)和Statistical Learning(統計學習)。這兩個主流方向基本涵蓋了你所有可能用到的技術——隨機微積分,或者說金融數學,提供了各種衍生產品的風險估計基礎,也是處理新型資產定價的常用方式;而統計學習,則包羅計量經濟學、時間序列分析和各種機器學習方法。我個人比較喜歡用Q measure世界和P measure世界來指代這兩種方法,因為統計學習主要在真實概率空間進行分析,而隨機微積分在基於無套利假定而設立的Q概率空間進行分析。

好吧,我相信你已經暈了——為什麼在真實概率空間外,還會有一個Q概率空間,這不是一下子可以說清楚的問題,我就給一個簡單的例子,剩下的如果你還有興趣可以再自己研究:

假設現在只有兩種資產,一種是股票,一種是債券,假設一年後這個世界只有兩種情景,一種是好市場,一種是壞市場,各自出現的概率是60%和40%。我們畫一個表格,就有:
t=0 | t=1 Good (60%) | t=1 Bad (40%)
Stock 1 | 1.2 | 0.8
Bond 1 | 1.1 | 1.1

表格裡面的數字代表價格,比如第一行表示股票今天1元,一年後在好的情況下變成1.2元,而壞的情況下變成0.8元;第二行因為債券是固定收益,兩種請都是10%的收益。

那麼在P概率空間(真實概率空間),股票的Expected Return就是:
1.2	imes 60\%+0.8	imes 40\%=1.04

也就是4%,那麼這不符合金融數學均衡思想,因為其期望收益和無風險回報不相等(10%)。所有Q measure下面的兩種情況的概率應該是75%和25%,這樣股票的回報就成了:
1.2	imes 75\%+0.8	imes 25\%=1.1

這樣滿足了理論微觀經濟學的各種假設,你就可以基於此概率去定價一個期權了,或者其它更加複雜的衍生產品。

這套體系由Arrow在1965年建立,之後他也成為了諾獎得主。而基於這一體系誕生了Black Scholes(1973)期權定價公式,在很長一段時間內被業界奉為圭臬。

但是這一體系太理論化了,在實際做交易的時候會缺少指導意義。就好比Wolf of Wall Street裡面,Can you sell the pen now,那支筆有理論價值,比如市場同類的價格是多少,成本是多少,不能偏差太多,不然就有套利,但是你的交易價格可能遠遠偏離這個價格,因為這一單取決於購買者的現實需求,而這或許可以從歷史交易數據中得出,這就是統計學習方法可以應用的場景。

在業界呆了一段時間後,我開始重新思考這個問題——為什麼1960到2000年大量的金融研究在隨機微積分領域開展,而2000年後,大量的金融研究開始應用越來越複雜的計量經濟學和機器學習方法。我個人的看法是——早期數據的缺失,使得數學建模——隨機微積分成為唯一可行的方法,而2000年後數據的蓬勃發展,使得統計學習成為可能。要知道Fama在1970寫有效市場理論市場的數據是Dow Jones裡面30支股票的10年日交易數據,這是當時的大數據,而現在,所有股票的每單級別的數據也不罕見了,數據——信息驅動研究的變化,在每個領域都是一樣。這不難解釋為什麼機器學習逐漸主流了——30年前沒有數據,何來金融統計分析?

這兩種方法(Q世界與P世界)在一定假設下可以得到相同的結果,比如你設定同樣的無套利、經濟人理性等條件,隨機微積分與統計學習可以得到非常接近的期權定價。但是統計學習的好處是,你知道這個世界的不完美,你可以隨意放鬆無套利和理性交易這些太過嚴格的假設,依然獲得魯棒性不錯的模型。

那麼在今天的Quant世界,這兩者的應用是怎樣的呢?做風險和定價的Quant,還是採用傳統的隨機微積分為綱領,這種方法算出來的價格被交易員用來作為交易和對沖的指導,但是交易員的報價還是根據自己的判斷來進行;在山的另一邊,做程序化做市(Automatic Market Making)、資產配置或者高頻交易的Quant,無一例外的活動在P世界——基於大數據和先進的機器學習來發現交易機會。

是信息行業的發展重塑了整個金融研究,但這不意外——要知道數百年前就是提前獲得的關於英法戰爭結果信息幫助了羅斯柴爾德家族成為歐洲金融霸主——信息一直就是金融中最關鍵的edge。

從Quant自身來說,我覺得P世界——統計學習方向是未來,隨著數據越來越多,實證方法很有可能長期成為主流——甚至隨機微積分的傳統強勢領域也可能為之侵蝕。但是隨機微積分領域的很多理論與方法是古典經濟學的集大成之作,如果你想獲得更好的直覺,這些是必須深入研究的,不然你很可能淪為反覆在同一數據上使用不同的統計包碰運氣的data miner。

Quant其實只是一種絕對理性和數量化分析思想的踐行者。也許今天我說的這些是Quant需要的技能,5年後或許又有了全新的一套體系。要做好一個Quant,唯一必須的就是對理性的信仰和Unquenchable Curiosity。


被贊第一的答案寫的很好 非常好
不過很有可能很多人是看不明白背後的邏輯的,比如說 為什麼叫Q 為什麼叫P
(其實就是兩個二叉樹的 概率,此處有人把上面那隻寫為q 下面的概率就是1-q了 當然也有人相反,我學這個的時候的老師 就是下面的是定義為q)

我本科生學計算數學的 我以一個數學的稍微形象一些的比喻來形容下
Stochastic Calculus 就好比是 求解析解
而Statistical Learning 就好比是求 數值解

你問為什麼既要求解析解又要求數值解的
因為 現在的金融體系的基礎假設有一些時候是不一定成立的,比如最出名最經典的B-S model
假設波動率是固定的,事實的情況是 黑色星期一以後 波動率不固定了
出現隱含波動率了 原有的假設的根基就不存在了 怎麼辦?

求隱含波動率 用隱含波動率算局部波動率 然後再用局部波動率進行回推吧(這地方是derman的研究領域)具體的得參見他的東西,我就是隨便那麼一說 不嚴謹的。derman就是寫寬客人生那位。

至於到底是因為什麼 波動率微笑了 那就又得扯到行為金融學角度的東西了 跟本篇內容不大。

重點是 如何來衡量這種波動率微笑 這就得Statistical Learning這方面來做了。

也就是我說的類似於求數值解,並不一定需要精確的知道這個的原理是什麼 而是需要知道我們通過什麼樣的方式能夠求得近似的可用的解(可以理解為對asset定價),同時知道這種計算得到的解的精度是多少,在什麼條件下可用。這就足夠了。

同樣我個人也同樣第一的回答,認為未來是Statistical Learning 的這個方向。
這個上面說的很明白了,其實這種認識跟我很早之前懷疑過數學的往計算數學發展方向不對,後期又認為計算數學才是現今數學的發展主流一樣。(最後這個僅個人觀點)

最後我真不是第一樓的托 第一樓的答案確實很好。只是這種好更多的得業內接觸這個領域的人才能理解吧,不太為知乎上的主流用戶理解。


不請自來,非從業人員簡要說說,希望對樓主有幫助。
排名第一的答案已經說的很好了,二叉樹的那個例子實際上是指兩個不同的概率測度:真實概率測度和風險中性測度。你可能會有疑問,在風險中性測度下的定價在真實世界是否適用?正統的回答是兩個測度是等價的,所以在一種概率測度下幾乎必然有效的對沖,在另一種測度下也幾乎必然有效。更學術的推導和論證推薦參考Shreve的《金融隨機分析》。
樓主問「掌握了ML的基本原理之後,再了解一些金融知識就可以嘗試Quant?」
呃,基本原理是遠遠不夠的,起碼編程要很強吧,C++/R/SAS至少精通一項吧,真刀真槍的去kaggle玩玩再說吧;了解一些金融知識也是遠遠不夠的,金融工程的書單不啃掉一大半還是不要嘗試什麼quant了,另外彭博的終端用的熟么?
最後建議,數學和編程有一樣不夠出色的話就別當Quant了,何必自己找罪受。。


如果用一句話概括的話,金融建模通常從符合經濟直覺的理論出發,較少考慮數據本身特徵;而機器學習建模通常既考慮相關問題的問題背景,又考慮數據特徵。

作為例子,我們可以先看看最基礎最重要的幾個金融模型:效用函數表達式、CAPM 模型和用馬爾科夫過程描述股票價格變化。

1 效用函數

在現代投資組合理論中,效用函數通常寫成以下形式:

U[P] = R_p - lambdacdot sigma_p^2

R_p 為資產組合的預期超額收益率向量,sigma_p 為資產超額收益率的協方差矩陣,lambda 為風險厭惡係數。

這個函數對應的是風險厭惡的經濟直覺:當風險不斷增加,投資者對風險的抵觸呈非線性增加。在優化問題中,這種凸函數的形式是最容易求解的。因為其有且僅有一個全局最小值。

2 CAPM 模型

資產定價理論中,資產組合的 CAPM 模型有以下的形式:

R_p(t) = eta_pcdot R_b(t) + 	heta_p

R_p 為資產組合的預期超額收益率向量,R_p 為市場組合的預期超額收益率向量,	heta_p 是截距項。

CAPM 認為截距項的期望為 0:

E[R_p(t)] = eta_pcdot E[R_b(t)] E[	heta] = 0

這個模型的結論可作如下解釋:如果對於某一個資產組合,其截距項的期望為正,意味著該組合存在不需要承擔風險的額外收益;與此同時,市場上必定存在另一個 「傻瓜」 ,他承擔了額外風險,卻沒有得到風險補償。在一個有效市場(投資者都清楚資產組合的預期超額收益率),不會存在這樣的傻瓜。

3 股價變化是一個馬爾科夫過程

馬爾科夫過程是一個特定的隨機過程,其下一個時刻的狀態只取決於當前狀態,而與之前的狀態無關。其對應的經濟直覺是有效市場理論:證券某一時刻的價格已經反映了市場上所有的相關信息,所以下一時刻股票的價格的變化僅僅取決於新的市場信息。

當然也可以寫成數學表達式:

E[f(X(t) | F(s)] = g[X(s)]

這個表達式的解釋涉及到比較複雜的隨機分析理論,有興趣的朋友可查閱 Shreve 的《金融隨機分析2》。

如上,這些金融模型的數學形式對應非常清晰的經濟學意義。它們都有一種數理模型的美感:劃定幾條假設,就可以推導出一套事物運行遵循的法則。換一種說法,這些模型都是先驗的(ex-ante),它們的形式不受數據的影響。當然,在這些模型的實際應用中,學者會對進行一些修正,例如效用函數中協方差矩陣的噪音處理;CAPM 模型中貝塔值估計的噪音處理,收益率時間序列的自相關性處理,等等。但這些處理只是模型應用過程中做的技術處理,它們並不包含在原來的模型中。

機器學習模型一般除了模型本身的假定以外,還會考慮問題背景和數據特徵。例如在生成模型(generative model)裡面,隱馬爾科夫模型(Hidden Markov Model)假設了數據是由兩個馬爾科夫過程決定的(可觀測序列和隱藏狀態序列); 而條件隨機場(Conditional Random Field)則假設只有可觀測序列是馬爾科夫過程生成的(更準確地說,它們兩對應不同的概率圖模型)。而在幾類神經網路裡面,由於卷積神經網路(Convolutional Neutral Network, CNN) 本身的卷積運算的數學形式,其更適合於圖像識別等近鄰數據存在較強相關性的問題;而對於複發神經網路(Recurrent Netural Network,RNN)而言,數據一般是時間序列的形式,因此更適合於處理手寫識別的問題。總結來說,機器學習模型可以說是先驗+後驗(ex-post)的結合:既有不受數據影響的、源於模型本身的假設,又有根據數據特徵進行靈活調整的部分。這種區別其實也是其它答案提到的 P-測度 和 Q-測度的區別。

如果將這兩套建模方法論對比的話,優缺點是什麼?對於先驗的金融模型,它們的優點在於模型本身對應清晰優美的經濟學意義,同時由於不受數據影響,有很好的魯棒性(robustness),不會受數據噪音干擾而產生過擬合(overfitting);缺點則是它優點的另一面:不夠靈活,可能和真實世界的數據存在較大的偏差,或者也可以說存在欠擬合(underfitting)的問題。機器學習模型的優點則是更為靈活,而且就一般而言,模型的效果會隨著數據量增加而改善;缺點則是在特徵工程/特徵選擇(feature engineering/ selection)、可解釋性和數據噪音造成過擬合方面容易出現問題。

以至於問題補充中提到的:「是否學好統計學習,再補充一點金融知識,就可以做 Quant 了?」。實際中,很多人其它專業轉入金融行業,確實走了這條路徑。但這種表述本身包含了一個不好的觀念:對於金融模型的一種輕視。

在另一個關於物理研究和 Quant 日常工作的比較的問題中。我說過對於這兩個領域而言,好的研究始終都是 「優秀的直覺和經驗 + 嚴謹的數學 」 的結合。我覺得你要尊重一個事實:提出這些金融模型的優秀學者,本身也有極高的數學素養。如果他們選擇了讓你覺得簡單的數學工具,並不是因為他們數學水平沒有你高,而是因為他們認為這些數學工具對於解決他們關心的問題是適宜的。對於剛剛開始轉入金融行業的人,應該嘗試保持一種謙虛的態度,去體會和推敲這些模型背後包含的洞見,而不是因為 「這些數學我都學過」 而一直沾沾自喜。如果對於只要數學好,對金融本身的直覺和經驗不重要的話,那麼金融業最賺錢的應該就是那些數學最好的人了,對吧?

目前,機器學習已經成為最為活躍的研究領域。幾乎任何行業的人都在琢磨能用機器學習干點什麼。那麼,它對於金融模型的學術研究和應用會有什麼影響?我認為至少有以下兩個方面:

1 機器學習帶動的基礎理論發展為金融模型的應用提供支持。傳統金融模型和機器學習模型共享很多建模技巧:數據降噪、降維、非凸優化問題的高效演算法,等等。機器學習的活躍帶動了相關基礎領域,例如數值分析、優化理論和統計學等的發展。無論是金融模型還是機器學習模型,都會從這些更基礎的學科的發展中汲取養分。

2 機器學習的發展為金融模型的研究和應用提供新的方向。2011年,一篇名為《Twitter mood predicts the stock market》的論文發表,大家開始意識到用輿情數據和社交數據來解釋證券市場變化的可能性。而這是傳統金融研究沒有涉足過的領域。因此,目前機器學習對於這些數據的處理方法可能會啟發金融界的學者,催生新的金融研究領域;此外,像 WorldQuant LLC 等一些對沖基金,也在嘗試利用數據挖掘和機器學習來找到能夠在證券市場獲利的阿爾法因子。這些研究和應用都會推動我們不斷認識金融市場。

在過去的幾十年間,很多金融學的研究者只能基於少量的證券市場數據來進行分析和研究,因此最終得到的結論也有很大的不確定性。設想一下,將來有一天,當金融學的研究者能夠採集到全球所有證券市場的相關數據,我們將會獲得一個真正意義上的「全市場組合」 來驗證CAPM 模型。而且當數據採集和處理能力達到這個級別——證券市場的信息快速流動,資產的錯誤定價被快速糾正,市場越來越有效,那麼,證券市場也將越來越接近 CAPM 的假設:市場上的投資者都能對證券的預期收益率作出較準確的預測。到那個時候,強大的數據採集和分析能力,就如同金融界的粒子對撞機—— CAPM 這個古老的定價模型是否正確,將會在未來的某一刻得以揭曉。


這。。。
machine learning 和 financial modelling 完全不同的兩塊啊!
現在基本上很多人都只會做一邊啊

financial modelling 就不說了,很多學的都是定價,monte carlo 只是其中的一種方法而已。

machine learning更多用於 data analysis, risk analysis.來預測Default,或者走勢pattern
簡單的說就是給你big training data, model, 然後sample data 出你要的數據,最簡單的就是大家都學過的linear regression.

求摺疊


作為一個統計出身,博士計算,現在在基金工作的人略答。首先排名第一第二的兩個答案我很贊同,尤其P測度和Q測度的說法很清晰。不過我不同意關於P測度終究要被Q測度取代的說法,正如我雖然專業計算,但無法苟同第二答案最後那句 數學的未來是計算 ^_^

只局限美國,且局限在金融危機前(之後的市場變化很大,暫時我不覺得出現了新的明顯趨勢),基本上如果你想在賣方工作,P測度下的東西是必須的,隨機分析,PDE, 蒙特卡洛,各種calibration model和技巧是你必須要會的。懂統計?除非你做到特別牛,能在學校拿到教職的程度,否則最多成為risk people。但是買方就不同,他們最喜歡Q測度生活的人,花街的基金長年招奧賽金牌ML博士。

簡單的說,沒有什麼好不好,或者哪個是主流哪個要被淘汰。一切只取決於僱主的需要。當然有一些時代帶來的進步所引發的大趨勢,是無論買賣無論你自認為P還是Q人都必須趕上並且遵守的:大數據量的處理;分散式計算;對計算速度的追求 等等。額,說到這裡,似乎無論P還是Q人都將被淘汰,最終統治世界的是IT人啊^_^

不調戲。要問為什麼不同僱主有不同需求,以及未來quant的可能演變,奉上我的兩位偶像的兩篇文章:
What interest rate model to use? Buy side versus sell side. Riccardo Rinonato

以及Vladimir piterbarg的一篇採訪:no more Heroes in quantitative finance? 裡面他有一句,讀之令人神傷,但同時也讓人深思:the era of pure quant is over ^_^


對於P Quant來說,確實需要掌握大量蒙特卡羅分析方法,但是不要走入誤區,經驗歸納法往往是錯誤的根源,而對於Q Quant來說通過大量的隨機微積分方程來求解有點兒像尋找現象的本質,但是也會走入歧途,有時候現象的本質沒那麼複雜,研究規則即可。


個人理解:
【P測度科研】是【Q測度實戰】的理論核心。

P相當於當前人類的對金融數理化理解的理論前沿,正是由於高精尖,所以能參與開發拓展創新P的人,全世界就那麼一小撮。

而大部分金融企業沒辦法支撐這種科研的,只有top10去承擔科研成本,同時享受重大突破後的時代變化大蛋糕。
而Q,大部分研究生在實戰中和程序數據統計打交道幾年,就能不會寫詩也會吟了。

之所以當下時代給人一種【Q如火如荼席捲世界】【P日薄西山退出歷史】的假象,是因為科研不像種瓜種豆一年幾熟,像P科研這種幾乎接近純數學理論的領域,【五十年沒成果,出一個就要顛覆世界】。

自從上一次B-S射了一波之後,P就養精蓄銳了,期待下一次高潮,打開一扇新的大門。

有點偏題,看前面大神談PQ有感。


考慮到諸位答案都把量化都帶溝里了,我還是扯兩句吧。量化之所以不成為一個學科或者專門技術,僅僅在於:這門營生在於把其他學科用來處理數據的新工具,新方法用到金融數據而已,此外無他。在我看來任何一個有自洽世界觀的學科都可以成為量化工具,金融乃餘興節目。


1.所謂的金融數學和經典理論本身只是披著數學的偽科學罷了,那些被證實符合事實的理論不過局限於統計意義,對於分析市場行為沒有也不可能有任何幫助。
2.所謂的機器學習,大數據分析也不過是基於歷史數據的學習和分析,對於一個「理性人」來說任何歷史數據都是基於當時市場環境下的最優解,對於現實市場來說環境不可能完全相同,就算有統計意義上的雷同也已經早在反映到數據之前就已經被消化掉。
3.通過以上可以總結為整個quant都沒有也不可能有實際意義上的作用,只能用「一門藝術」來形容。


推薦閱讀:

Softmax 函數的特點和作用是什麼?
如何評價rcnn、fast-rcnn和faster-rcnn這一系列方法?
有誰給解釋一下流形以及流形正則化?
計算機視覺中,目前有哪些經典的目標跟蹤演算法?
經過足夠長的時間, AlphaGo 的棋譜能收斂到一張上嗎?

TAG:寬客 (Quant) | 機器學習 | 金融 |