為什麼說 Quant 的工作內容和物理研究很相似?都有何相似之處?
來自這個回答:你們都是怎麼進入 Quant 這一行業的? - 老豚暈糖的回答
不好意思。既然是我提到,那麼早該來回答了,還麻煩各位大大幫我撐檯面。
其實,我主要是在想這個問題該怎麼回答會比較正常。我的背景:本科中科大核物理與粒子物理專業,畢業設計做的是量子博弈(可以歸在金融物理學或者歸在計算物理與實驗物理的交叉)。後來保研本校量子信息專業(剛保研的時候是和潘大老闆同一大組),主要研究過量子計算理論方案,後來的專業方向是量子糾纏和測量(難度怎樣本行自然懂)。量子測量,算是完整量子計算機的讀出部分的核心一步(這麼說容易被人肉阿xdjm們,真是拼了~~)。當然此行必備門檻需左手理論和右手實驗都不能弱。實驗這塊因為要依賴儀器做操控微觀,時間尺度都是在ms之內,所以人只能靠編程操控(主要是Matlab,C++)。我們做研究流程一般是:仔細觀察客觀現象,然後,理論推導第一遍,編程模擬第二遍,然後實際操作第三遍。
「仔細觀察客觀現象,然後,理論第一遍(pattern),編程模擬第二遍(backtest),實際操作第三遍(實盤)」——這是不是和Quant的工作內容很像?同時,Quant所需的技術背景,數據處理,數理推導,編程實現這些也都可以直接搬過來用。
Quant的工作內容說白了就從現實數據抽象到概念模式,確認基本正確後又回到現實驗證。這就是最正統的數理科學(尤其實驗物理)科研工作模式。對比於傳統的技術分析手動交易,Quant的這種工作模式真的非常接近物理研究,而且難度上也可以分庭抗衡。
再說開些,扯些更遠更有淵源的東西。
看這些研究背景這麼跨界,其實自始至終離不開做計算(摩爾定律下計算機的下一代號稱就是量子計算機,這個口號打了很多年);另外加一點量子博弈的背景。量子博弈的初衷是為了解決博弈中非合作情況收益不能取得最佳而產生的,應該算是很正統的經濟物理學的研究(研究文章可以參考物理常見期刊的P.R.E系列)。博弈這個大家都懂,《美麗心靈》里的Nash就是做這個得到了諾貝爾經濟學獎。那麼Nash之後,普林Princeton此位置還給了誰呢,給了寫《Beat the market》和《Beat the dealer》的Edward Thorp,這個人絕對值得仔細研究(wiki:Edward O. Thorp )。而我也一直覺得,他才是Quant界開山鼻祖和集大成者,因為不僅深得市場中的交易精髓,且時刻明白自己的短處在哪裡。
所以這樣看來,自己感興趣和一直做的事情和Quant是師承同宗的:計算編程+客觀規律。當我接觸此行時,感觸最深的地方就是,真的很像啊!
後來看到《My life as a Quant》的作者也是類似的高能物理背景(需要編程操控微觀規律),不知這是不是種機緣巧合還是行業定律。以上是一些經歷,這樣的研究背景帶來了轉行的契機。如果是研究背景差距太大的物理同行,請三思,不必貿然決定。因為這些積累換到哪兒都是一個PhD培養周期時間段的積累,何況動機不純的話出成果自身保學位都會有問題。
希望這些經歷能拋磚引玉,且不徒增各位煩惱。:)真正的量化投資就像做科學實驗:
- 第1步,觀察到某種現象;
- 第2步,提出一套邏輯來解釋該現象;
- 第3步,設計實驗驗證邏輯(提出邏輯與驗證實際上是一對反覆迭代的過程,你需要不斷根據實驗結果修正邏輯,並重新實驗);
- 第4步,少數比較走運的情況下,最終能獲得一套通過驗證的邏輯,不妨稱之為理論,這時就可以應用理論創造價值了。
量化投資的具體例子:
- 注意到大盤上漲時沒漲的股票,隨後往往會補漲
- 然後就推測那些之前沒跟大盤漲起來的股票可能是因為大資金偶然拋售的短期衝擊,但大資金拋售後又會慢慢補漲回來
- 於是設計實驗,例如搜集這些沒跟大盤漲起來的股票的逐筆成交記錄,判定是否發生了大資金拋售?沒發生大資金拋售的後來是否就沒補漲?如果通過驗證,那麼推測的邏輯就通過了驗證,可以成為某種規律
- 到這一步就可以利用驗證過的邏輯設計投資策略了,估計誰都會了
的確是差不多。
我們高頻量化交易做研究的套路基本就是所有科學和工程學的經典套路:細心觀察,提出假設,設計實驗檢驗假設,總結規律、提煉理論。這也是 @董可人 提到的P宗的經典套路
當然也有Q宗的,從理論入手,設計模型、設計實驗檢驗理論,最後得到新的產品,這是衍生品礦工的經典套路。物理研究和 Quant 的日常工作確實有很多相似點。誠如諸位提到的,它們都遵循波普爾的科學哲學範式,以證偽原則作為自己研究的判斷標準。就我個人的體會,有一個更具體的相同點非常重要:對於物理和金融量化分析的這兩個領域,好的研究始終都是 「優秀的直覺+嚴謹的數學」 的結合。
對於理工科出身的 Quant,不少金融背景的人會對他們有一個刻板印象:理工科出身的人通常深信數學模型無所不能,而忽略了市場本身。但對我來說,在物理或者其它自然學科的學術研究中,「數學模型無所不能」從來不是一個被認可的觀點。在物理研究中,對於研究的問題本身的直覺和經驗,幾乎和嚴謹的數學一樣重要。做物理研究本身就像是茫茫黑夜裡面走路,而好的物理直覺則是轉瞬即逝的火苗,指引你找到一條正確的道路。物理史上有不少類似的趣聞軼事,諸如 「薛定諤帶著情婦去瑞士度假,回來就提出了量子力學最重要的方程之一,這到底怎麼回事?!」 「德布羅意這種平時看起來不務正業的博士生,怎麼可能在畢業論文直接提出了波粒二象性?」 這些方程和理論本身緣何而起,發現者本身也未必能說出所以然,而它們本身看起來如此富於深邃的美感,簡直像是上帝執著他們的手寫下來的。像「Good Taste」 或者 「Good Intuition」 這種形容詞,無論是對於物理研究者或者 Quant 來說,都是一個非常,非常高的讚譽。
作為 」優秀的直覺+嚴謹的數學」 的範例,在《主動投資組合管理》第10章裡面提出了一個精鍊信息的預測經驗公式。在投資決策過程中,我們會得到各種各樣的信息:某個股票分析師的建議,機構的一致預期,甚至某類內幕小道消息。這些信息有不同的形態和量綱(可能是文字描述,也可能是各種單位不同的數字),該如何把這個原始信息進行精鍊,讓它們成為我們投資決策的一部分?書中得到了一個精鍊預測(refined forecast)的經驗表達式,其給出的啟發式推導思路非常像物理研究:
1 信息本身偏離自身的均值越大,則該信息強度越高,且不同類型的信息應該不受量綱影響,因此表達式中應當有其標準分值;
精鍊預測 = 常數*標準分值
2 信息和我們需要預測收益率相關性越高,則價值越高,因此表達式中應當有信息係數;
精鍊預測 = 常數*信息係數*標準分值
3 精鍊預測應該有和收益率相同的量綱,以便於修正我們對於投資組合收益率的期望。然而信息係數和標準分值都是無量綱的。如果資產本身波動越大,就越容易受新信息的影響,因此引入資產本身的波動率,以保證精鍊預測和收益率有相同的量綱:
精鍊預測 = 波動率*信息係數*標準分值
在技術附錄部分,上述的經驗表達式得到了嚴格的證明。基於新信息的條件下,該表達式正是對收益率的最優線性無偏估計(Best Linear Unbiased Estimation, BLUE)。如此,直覺帶領我們走入無人抵達過的未知之境,而數學賦予我們的直覺以清晰和規範。
在解釋什麼物理學家和數學家有什麼區別時,我的導師曾經說過一番話,我覺得也同樣是用於 Quant 的工作:「數學家研究微分方程時,通過複雜的推導,他們可以證明這個方程有解。而至於解是什麼,他們一無所知。但我們不可能因此而止步不前。這就是我們理論物理學家開始介入的時候:基於我們的經驗和直覺,構造一個解的形式,然後和實驗結果對比驗證。這種做法在數學系的人看來粗糙不堪,不可理喻。但最終,他們會承認我們是對的。這就是我們的工作方式:打磨自己的物理直覺,直到找到那條真正通往萬物真理的道路。」鄙人計算機專業畢業,做過Quant 沒做過物理研究,簡答說下自己的感受:應該是和所有數學相關的學科都差不多,只是需要考慮的東西不同。
1.其實做Quant某些方面來說和做研究差不多,先看別人怎麼做,模仿,然後創新。不管是用到哪個領域的知識,相信這一點都是適用的。
2.對數據有一定了解的情況下,試圖尋找一種模型甚至是設計一種模型去概括時間序列的發展規律,然後實踐檢驗之。
3.實現的方法是多樣化的,數學知識,數據挖掘,信號處理等等,數據是死的,方法是活的,關鍵看怎麼把維度轉換。
4.其中處理數據的技巧,來自各個領域,不限物理。
5.除此之外,還有別的因子對模型的干擾,和任何領域的研究一樣,不是絕對的。
個人愚見,歡迎補充與更正。
但奉勸一句哥們,物理學有微觀有概率問題,但宏觀上有相對論牛頓定理這些可以準確預言並檢測結果的理論。金融市場上卻沒有一套可以準確預言證券價格長期走向的理論公式。也許有人會拿出基本面分析或者巴菲特的例子。但是基本面公司業績分析優秀的股票未必就一定會漲,不漲甚至跌的例子也太多太多了。我認為是擾動太多了。你的投資可能會受到技術面投資者的強大擾動,又可能會受到指數投資者的擾動。高頻交易一次黑天鵝事件就會使你的努力前功盡棄。但相對論牛頓定理的預言能力卻準確得多。所以,金融市場永遠要掌握各種理論,看那種理論在哪個時期有效。並不是邏輯正確,就必然能實現的。這裡的概率問題也許與量子力學有聯繫,但你不可能像物理學宏觀理論語言的那樣,去預言證券市場的走勢。
Quant,我可是外行,不過有一點很有意思,物理的熱力學模型常基於布朗運動,而金融衍生品定價模型也常是基於其underlying asset價格的布朗運動,比如假設股價隨機遊走。因此,不難想見,兩者導出偏微分方程需要用的各種數學技術基本一樣。此外,據說,在美國衍生品市場發跡的那些年有大量物理學phd去了金融業工作。有個物理學phd後來就自己的金融業之旅還寫了自傳呢。@老豚暈糖的答案里提到的My life as a quant的作者就是了。
這世界上的水都是相通的。All the water in the world are linked together。
策略是怎麼開發出來的?
開發一個策略,讓它自動地發現機會,並自動執行交易,然後開始掙錢,聽起來很牛很酷,非常地令人神往,不是嗎?
但牛的策略是怎麼開發出來的呢?
具體地去講如何發現規律、找到相關性、建模、回測、模擬交易、模擬、實盤、優化這一系列過程太枯燥太繁瑣了,估計也沒多少人感興趣,懂行的人不屑於看,沒啥新意,行業外的人還是看不明白:到底說的啥?
所以呢,我想講個通俗版的策略開發過程,也叫"開發一個策略的十個步驟",方便大家了解一下量化策略師是幹什麼的。
那就從大家都熟悉的冰箱說起吧,我們的故事跟冰箱有關。
故事主人公: A, 職業:量化策略師
時間: 某個晚飯時間 地點: 家中廚房
場景: 下班回到家,發現沒人做飯了,為什麼?我也不知道,留給大家想像吧......
故事梗概: A拉開冰箱門,準備找點吃的,發現一個蘋果,運氣不壞!可是仔細看了下蘋果,已經是皺巴巴的了,不知道哪天的。搖搖頭,順手扔垃圾桶了;算了吧,下午還吃了點,不是太餓,先看看書吧,一會出去宵夜,剛坐下,想想還是泡杯茶先,可是壞運氣還在,失手把水倒在書上了,這可是最珍愛的一本書,怎麼辦?
真倒霉!洗洗睡了。 - The End -
一般人的故事到這裡就完了,但策略師的故事是這樣的:
策略師嘛,思維是跟別人有點不一樣的,他的腦袋閑不住了,開始想啊想......
- 蘋果放在冰箱會變皺,#@%$$$$$!&…… --發現了一個現象;
- 對蘋果變皺這一現象進行分析,提出一個假說,冰箱會慢慢讓裡面的物體失去水分--提出假說,並建立了一個簡單的模型。
等等,這個蘋果是放進去變皺的呢?還是放進去前就是皺的呢?時間久遠,無法回憶起來了 -- 這是個普遍規律呢,還是只是個特例?
需要驗證下,再去買個蘋果來做試驗嗎?太麻煩了,先弄張面巾紙濕點水測試一下 -- 注意開發成本,還是先搞個簡單的模型驗證下吧!
十分鐘後,拿出來看看,紙變幹了,模型有效! 開始思考了,如何利用這個規律?首先,這個規律有通用性嗎?其次,模型可以優化不?比如,如何讓紙幹得更快一點?能不能用來制蘋果乾? -- 關注模型的泛化能力
仔細思考,好一會,@%$$$$$!&…… 覺得應該可以 -- 這個假說有實用價值,值得做進一步的測試。
好吧,開始精細些的試驗了,先拿出兩張面巾紙,面積一樣,滴上一樣多的水,5滴,分別放入冷藏和冷凍室。隔一分鐘檢查下,看看誰幹得快 -- 注意,開始量化了哦
結果發現,冷凍室的紙幹得更快,並且變形更少。-- 參數選取成功!
蘋果跟紙巾還是不一樣的,還是去買點蘋果試一下吧 -- 模擬
仔細思考下,為什麼能行得通? -- 模型的可解釋性,無法解釋的模型千萬別用,無法解釋的參數調整結果更加要小心,要抵制住誘惑
仔細思考,此處省略8千字,結論:邏輯成立、效果確定,可以用!開始自製蘋果乾、用來干書 -- 上線
書濕了,放進冰箱冷凍室就可以快速弄乾,有效,下次可用; 開心果在外面放潮了,放冰箱冷藏一會,口感變脆了,模型依然有效 -- 模型擴展應用範圍
回顧一下過往操作,怎麼才能幹得更快,效果更好呢? 開始探索:調整冰箱溫度、預先把外面的水甩開 -- 參數優化
這個經驗不錯,值得向朋友推廣 -- 包裝發行,產品上市
好吧,我承認故事有點扯,但量化策略師開發一個策略基本上就是這樣的:
發現規律-提出假說-建立模型驗證-思考泛化能力,防止過度擬合-模型精化-實現策略-模擬交易-上線真實交易 - 不斷優化,循環以上步驟。
轉自: 如何開發一個策略
是比較像,因為現在很多做物理「研究」的跟大部分做量化「投資」的一樣,都越來越接近搞玄學了。
其實並不相似,大多數都是面試的物理學學生陶瓷的套路而已
經濟是社會科學,物理是自然科學。
物理的定理只要研究出來之後就可以稱為定理,即在同等實驗條件下,使用該定理重複一千次結果也是一模一樣的。
經濟則不然,即使相同實驗條件下,實驗結果仍然會出現不一樣的偏差。因為經濟學的實驗對象是人,每個人都是一個單獨的個體所以每一個實驗結果都會有所不同。
但是經濟定理和物理定理仍然存在共同性,而且經濟學家也在努力把經濟定理「物理化」也就是隔離每個因素,盡量使實驗結果可重複化。這樣做的目的就是為了研究在同等條件下拋去個體因素,人們作為整體的時候的行為,從而制定「定理」然後給決策者作為參考,制定商業計劃或者國家政策。物理定理不存在時效性,一經發現即可使用很久並且可重複。經濟定理時效性強,不同時間,受眾定理結果都會不一樣
其實就是感覺一些underlying asset有一些規律,但是搞不清楚具體啥規律。就取一些數據(樣本空間)去驗證下,驗證成功了是否代表就有規律了?就有一系列判斷辦法比如顯著性等,最後這種規律在某種條件成立,去樣本外執行賺錢去
Quant的工作實質上是對歷史數據進行解讀,找到合理的行為模式構建交易策略,通過回測初步驗證,通過壓力測試和外推品種測試繼續驗證,再經過交易成本計算的構建,最後在市場上進行交易。更多的是運用數學和統計學,以及計算機科學。要說和物理研究相似,可能不僅僅是物理吧,和所有科學研究都比較相似,就是追求可重複,可驗證。
金融需要量化,需要數學統計學等工具,但是完全照搬物理的研究方式,顯然是走偏了。寬客們的收益率並沒有高於基本面投資者以及趨勢投資者,甚至很多人都不做主動型多頭策略,他們的優勢在於風控,回撤通常較低,夏普比率高,凈值曲線穩定。市場中性策略和統計套利都是追求低回撤,穩定收益,風險低固然是好事,但是盈利能力非常有限,資本容量也非常有限。這個問題是中性的,一切取決於投資人的風險承受能力和貪婪的程度。隨著對金融理解越來越深入,我相信寬客們能做得更好,畢竟數理優勢巨大,手裡拿著槍炮怎麼也該比別人拿弓箭厲害多了,只是目前用得還不夠好。
金融研究的對象是人,屬於社會科學,哪些是社會科學?經濟學、社會學、心理學;物理研究的是自然界的客觀規律,屬於自然科學,哪些是自然科學?物理學、化學、生物學。金融市場符合有生命體的特徵,會進化、會成長,沒有一條定理能讓你穩賺不賠、也沒有一種策略能讓你賺一輩子的錢。金融市場是複雜系統,類似的還有經濟、社會;天氣、湍流,三體及N體問題。它們都屬於複雜系統,它們的基本特徵是:1.不可逆、不可重複 2.非線性 3.會產生突變 4.隨機性和確定性並存 5.非周期性(在這裡可能會有人說股市期市債市皆有自身的周期,周期性是要求時間間隔嚴格一致的,比如每一次都是5年,那麼是周期性;如果是多周期重疊,比如這次是3年,下一次是7年,再下一次又是3年,循環往複,那麼是准周期性;而真實的市場周期幾乎沒有規律,國際經濟所謂的7年之癢:1987-1994-2001-2008-2015,1987年發生了黑色星期一,全球股市遭受重創,但是時間極為短暫;1994年並沒有發生很重大的事件;2001年互聯網泡沫破滅;2008年次貸危機;這個只有統計意義上的規律之前經常被人提及,然而它就在2015年被打破了,全球市場並沒有發生崩潰,反倒是A股經歷了半年的瘋狂上漲後誕生了史上最慘烈最快的崩盤,但是整個年度還是上漲的。複雜系統,用最簡潔的話說,就是混沌的。
混沌不是簡單的無序、隨機,是不具備周期性和對稱性的有序。並且不可逆,無法重複做實驗驗證。
但是目前寬客們乾的事情,把金融市場搞成了隨機的,居然正態分布、布朗運動都扯出來了,以此理論基礎建立的模型居然要用到隨機微積分,使用這些模型進行交易,活不過幾年就垮台。長期資本管理公司的明星團隊:莫頓、斯科爾斯因為發明了期權定價模型獲得諾貝爾獎,理論基礎就是有效市場假說,以及波動率正態分布。但是然並卵,公司存活了不到4年即宣告破產,被美聯儲救市聯合巴菲特廉價收購了。最成功的寬客,當屬文藝復興科技的西蒙斯,做的是高頻交易、利用量化模型捕捉市場短期的過度波動帶來的負反饋機會,通過每天成百上千次的交易、利用大數法則穩定賺錢,不持有任何倉位過夜。他是一個純粹的數學家,沒有用到傳統金融理論中的有效市場假說,模型也會每天更新,工作量巨大,團隊里招了幾十個自然科學家。
還有那些利用回測或者模擬交易的,別說你回測10年、20年,就是100年也沒用(當然,A股歷史也就20多年);交易模型必須建立在對金融深刻理解的基礎上,以演繹法的邏輯推導來建立模型,你得明白這個模型背後的意義,為什麼這個參數是0.5而不是1,為什麼這個方程組可以模擬市場的走勢,這種時候回測是可以起到一定程度的驗證作用的,但是也僅限於一定程度上,並不是物理實驗那樣驗證了就可以無限重複。如果只是為了得到好的回測結果,拋開金融的理論基礎去修改模型做回歸,那麼結果必定是過度擬合,該模型對過去十分有效,對未來無效。目前大多數模型都是用的歸納法,通過統計學判定一些條件滿足時漲跌的概率和賠率,然後根據這個只有歷史統計意義上的概率和賠率執行交易,比如最簡單的MACD金叉則買入、死叉則賣出(這個策略長期下來肯定沒用,不用試了,但幾十年前有一段時間很有用),現實中的策略當然不會這麼簡單,但是本質上一樣,都是利用的歸納法。再一個,模擬交易不用真金白銀,自身壓根沒有心理波動,根本體會不到堅持模型還是止損換策略等等內心的掙扎,甚至沒有交易成本,你估算的交易成本可能和真實的交易成本差距很大很大,這個估算是難以精確量化的,你模擬10億、100億資金規模也沒用。
我目前對於金融和物理學的交叉持中立態度,混沌最簡單的三體問題,以及湍流,物理學界貌似都還解決不了,更別說應用到金融裡面去了,無數個交易者之間相互作用,要是從微觀角度入手,將其看成一個個的粒子的相互作用,我簡直不敢想像,何況這些「粒子」還是有智慧的,行為方式會改變。要用演繹法去推導出描述不同市場走勢的方程組,像天氣預報那樣短時間內比較精確地預報天氣是目前沒人能夠做到的,這個遊戲太難了。傳統的物理學研究方式,觀察/思想實驗、提出規律、設計實驗、驗證,在金融市場大概率無效,更多的只是過度擬合和倖存者偏差帶給你的錯覺而已。推薦閱讀: