如何看待摩根大通利用 AI 機器人執行金融交易?其工作原理是怎樣的?
新聞背景:厲害了!摩根大通計劃用AI機器人執行金融交易
摩根大通全球股票電子交易業務負責人丹尼爾?西蒙表示,LOXM自第一季度以來被用於該行的歐洲股票演算法業務,並將在第四季度在亞洲和美國啟用。
此前該行在歐洲對其新型人工智慧(AI)程序的試驗表明,它的效率比傳統的買賣方法高得多。LOXM的職責是以最佳價格和最高速度執行客戶交易指令:運用它從數十億筆過往交易(既有真實交易,也有模擬交易)中汲取的經驗教訓來解決各種問題,比如怎樣拋出大筆股份而不影響市場價格。不過,與一些私人銀行提供的機器人顧問不同,摩根大通的AI對於買賣什麼是沒有決策能力的,其作用僅僅是決定買賣的方式。
其實這種執行大單演算法交易很早之前就有了吧,比如Neil Chriss寫了本Optimal Trading Strategy,那本書應該是業內經典。當年一家做這個的公司ITG招實習,我跟一個朋友說你讀一下那本書前幾章然後面試的時候扯一下,估計能留下一些印象,然後就這樣拿到offer了。。。
扯遠了。其實這個本質上是個優化問題,不是傳統那種預測問題,但也有人用預測的方法做。為什麼說是優化呢?因為市場上的掛單是有限的,一般只有最優價格附近5-10檔比較密,其他位置都恨疏的,你一個大單買下去,如果市場上的單子都不夠,一下就漲停了,這就叫烏龍指。因此,一個好的辦法是慢慢地買,這樣你一邊買,別人還會邊提掛單(又叫流動性)給你買;或者你自己就是掛單提供流動性,由於市場成交活躍度有限,要成交你的掛單也需要一定時間,所以只能慢慢來。一般自己的交易量超過市場一天的5%就會產生market impact等負面的作用。
現在問題來了,如果你買的太快,比如大單吃,這樣會嚴重損耗流動性,增加自己的滑點;如果是掛單,這樣又會暴露自己的意圖,比如大家都知道你想買,預示就撤掉賣單,逼你在高位買;但如果你買的太慢,市場由於其他隨機因素產生的價格波動則會產生影響,時間越長,波動越大,對自己也越不利。
現在問題來了,吃的太快不行,吃的太慢也不行,這因此是一個優化問題,怎麼樣制定一個優化的方案,平衡流動性風險和市場風險。那本書最後歸結為一個二次優化問題。
現在一般的做法,比如在股票上,都是一隻一隻股票分析。比如客戶給了單子,要在一天內執行完,於是拆分到每個小時,然後拆分到每分鐘,甚至每一秒等等,每個時間段都有需要完成的交易。可以根據自己的記錄來預測passive filled的概率,如果掛單不成交就市價,大概這樣。不會太複雜,他們招的人也是普通的計算機小本,不會有什麼深度學習大神。
為什麼會有reinforcement learning/approximate dynamic programming呢?因為市場未來的變化是隨機的,你需要結合這些隨機的因素,以及當前的狀態,來做一些action,是掛單還是吃單等等。但這類模型會非常龐大,而且一般都是用在一些規則明確概率分布明顯的小遊戲上面,比如下圍棋,以及斯坦福ADP大神教授Benjamin Van Roy的美女弟子寫的用ADP解決俄羅斯方塊的問題。俄羅斯方塊的概率分布多顯然啊。。。後來這位美女去了麻省理工商學院教書,然後覺得當教授錢少,跟老公開了一家跳拉丁舞的。。。可見這一行水太深,斯坦福的博士、麻省理工的教授都搞不好,業界那幫人這麼浮躁,不大看好。。。不要最後變成「線性回歸也是AI」就。。。
研究ADP還是很多神人的,比如Benjamin Van Roy很多華人弟子都去搞金融的,清一色Two Sigma, DE Shaw, PDT 這類的公司,或許他們也有用ADP吧,誰知道呢。。。
JPMorgan內部人士來答:
如何評價?首先這個新聞應該是真的,AI定義比價泛,具體而言就是Deep Reinforcement Learning,Reinforcement部分比較確信,Deep的話值得懷疑。JPMorgan內部每周五都有一個Machine Learning的培訓,馬上會講Reinforcement Learning在algo execution中的應用。所以這也不是surprise,有回答說Goldman兩年前就開始做了,我是信的。至於效果跟傳統演算法比,我認為不會比他們差,要說好很多(比如把execution cost降低一半)也不太可能。總之,這不是噱頭,當然也沒必要覺得很神。
工作原理?兩個月前自學Reinforcement Learning的時候想過這個問題,找了下paper發現還真有不少(Google上面用英文找),總之模型就是:agent-&>交易演算法,env-&>市場,state-&>剩餘股票數量,剩餘交易時間,當前市場狀態(imbalance, momentum等特徵),reward-&>exexution cost如果到時間沒執行完-inf,action-&>下market/limit order,價量分別多少。Deep? Learning的部分就是用state + action估計value function,剩下就是搞RL那些演算法了。JpMorgan以前有大量的交易數據,那些訓練RL模型是綽綽有餘。相比於傳統的volume profile估計+短期signal的框架,RL優勢在可以把下單對市場的影響考慮進來。這個影響不光是market impact這麼簡單,可能是你每隔5分鐘下一次單把價格打上去,被HfT發現pattern後就會利用這個特徵。以上都是個人見解和猜測,不涉及公司機密。為啥有這麼多回答都在噴啊?還有一個莫名其妙連帶黑了gs的strats?腦子有病吧!equity的execution本來就是銀行主要的業務之一,大銀行全都有專門的desk做這個生意,比如gs的GSET幾十個人都是做這個的,怎麼可能只有twap和vwap???然後說是人工智慧也沒啥問題,有問題的是某些人自己心裡把AI神聖化了。舉個例子,拆單演算法用一下reinforcement learning再正常不過了,比如baml在N多年前就寫文章market過自己的「adaptive algorithm」。另外,學界討論用機器學習/AI來做optimal execution和forecast market microstructure的也有一大堆,cs的、finance的,各種方法肯定推陳出新,越來越好。
Reinforcement Learning using Partially Observed Markov Decision Process
回答的都是什麼啊……這其實就是一個訂單執行的角色吧,在美國市場複雜的交易路由結構里迅速完成最優的交易執行。跟投資決策沒有任何毛線關係。是不是按這個路子KCG和高盛系統比摩根大通領先好幾年?現在弄出這個新聞正如樓上所說就是個marketing行為……別一提AI就高潮。具有日內交易能力和趨勢交易能力的交易員不會被這種程度的東西取代。
這。。。。。。broker就是代客執行交易指令而已,為了避免衝擊市場,按twap或vwap演算法下單成交。這個twap演算法我都能用C++實現出來放實盤交易。當然,可以對twap做些改進,在價格好的情況下多主動交易,流動性好的情況下多下被動單,根據盤口修改拆單數量,但你說他們還能用這個來預測流動性和價格變化實在難以置信,真這麼牛逼早搞自營去了。
FT的報道有寫一段這樣的解釋:
LOXM』s job (雪梨醬註:LOXM就是JP摩根執行交易的這款產品哈) is to execute client orders with maximum speed at the best price, by using lessons it has learnt from billions of past trades — both real and simulated — to tackle problems such as how best to offload big equity stakes without moving market prices.
LOXM的「升級版」,可能會是通過機器學習了解每一個用戶是怎麼做交易的:
One possible evolution of LOXM is teaching the machine how to get to know individual clients, so that it could consider their behaviour and reaction as it decides how to trade.
FT原文在這裡: https://www.ft.com/content/16b8ffb6-7161-11e7-aca6-c6bd07df1a3c
(FT有paywall, 不過從谷歌搜標題「JPMorgan develops robot to execute trades」戳進去能看到。)
金融領域就是數據領域,用於決策交易的信息,早已經數據化了,產量,銷量,開工率,失業率…………當前決策很多是依賴這些數據信息的。至於還沒數據化的內容,新聞,調查報導等,很多機構也在用nlp學習中。
很早期一些量化分析就有做這種類似「智能」的全自動化交易的,也沒見把所有錢都賺了。
AI就是一個新的工具,懂的人,知道他能自動發展,發現新的交易模式,更快抓住交易機會。
不懂的人,就當作它使用概率來分析各種數據的,就行了。不必神話。現實是有規律的,它無法改變規律,只是發現規律,順應規律。所以將來仍然有趨勢階段,震蕩階段。execution大體包含三塊,一是如何拆單,比如twap vwap pov之類。二是market/limit order,aggressive還是passive。三是order routing,去dark還是去lit,哪個交易所能探測到成交量。
從大面上看這是一個系統工程,涉及的變數非常多,trader的風險偏好,客戶的過往成交記錄,內部數據的齊全程度等等。個人認為ai在其中起的作用更多是就某個具體問題深入研究。比如針對某個venue預測潛在的hidden (gray)volume,比如預測某個客戶其一貫訂單背後的alpha等。
人工智慧的優勢是針對一個目標明確的問題,其學習的比人深入。不要低估,也不要高估人工智慧在市場中所起的作用。什麼東西都要帶上AI吹噓一波,然後吸引一波客戶簡直美滋滋。
謝邀。本來就發了幾個評論結果暴露了,就被邀請了。好吧,我承認自己就是做自動化交易的。關於「所謂」的智能AI也有些了解。
很多人一提到AI就想起了終結者那種強人工智慧或者機械公敵中無所不能(好吧,暫時不能生孩子)行走如飛的機器人形象,其實現在的人工智慧靈活程度還不如一個4歲的孩子。前幾天看楊瀾訪談人工智慧,當時楊瀾給沃森打招呼,結果saygoodby的時候被理解成you say a girl?完全是驢唇不對馬嘴。
自動化交易無非是把可數字化的策略程序化進而發送交易指令的行為,但是很多很好的策略是主觀交易員想出的,很多優秀策略是不能被量化的。如發現界面上第一根底部大陽線就買入,機器就無法理解:何為當前界面?縮放比例多大?底部是多少?大陽線是多大?是前面K線實體的1.5倍還是2.5倍?你會發現很多時候主觀交易員感覺很重要,而感覺是無法被編程的。這就需要人的參與。
現在,最智能的AI也無法發現人類故布陷阱的行為,說個通俗的例子機器無法分辨偽裝。例如,為了打壓股價,大資金一般會掛上大賣單,盡量壓低進倉成本,一旦進倉成功,就會立刻把大賣單撤掉,然後拉升,這幾乎是公開的秘密了,但是何時撤單關鍵在於操盤手的經驗和策略,但是機器就分不清真假,還以為真有大批人等著賣,於是做空,結果拉升後就只能以止損告終。
這還不包括數以萬計的蜜罐程序——故意設計的對付電子單的程序,所以說AI想干過活生生的人還需要很長的路要走。其最關鍵的原因就是人類是狡詐的,而機器太單純。
當然,機器有它們的絕對優勢,那就是它們會嚴格執行交易指令,不管天塌還是地陷——除非停電斷網——它們都會一絲不苟的執行既定的程序,這用來止損是非常有效的。
還有機器有大存儲,管理數據和比對以及計算的優勢,這用來分析模型建立數據回溯等等非常方便。
機器作為我們的助手能使我們如虎添翼——但要作為我們的敵人,除非規則很死(比如圍棋,象棋等)——它們還有很長的路要走。
我之所以一直使用機器而不是人工智慧,是因為現階段的人工智慧根本不能算是智能,只不過是大數據(包括所謂的大規模訓練,神馬神經網路,深度學習,隱馬科夫等等——變相的大數據罷了)支持下的表面靈活罷了,那終歸還是一段代碼,沒有活生生的意識和靈魂。想讓智能AI學會智能就需要讓它們學會自己編程,用變化的程序代碼應對千變萬化的生活場景,而這一點需要腦科學的進展,而不僅僅是計算機科學的進步。
再說說所謂的摩根AI,那不過是一套自動代客下單的程序,就被冠以智能AI的帽子,多拉點兒客戶總是好的——前面已經有人回答了,我就不贅述了。
在英國脫歐公投,總統大選,美聯儲會議,美國總統大選,伊拉克戰爭和重要經濟數據公布等關鍵節點上,一般機構都會轉為人工交易模式,這就是現實中AI不如活人的真實寫照。
否則國外就不會吧交易員稱作精英中的精英了。
看文字看夠了吧,上圖
這就是所謂的策略包,有成百個吧
這就是MACDstart策略的源代碼
第12行代碼翻譯成漢語就是,在MACD零軸以上金叉的時候買進。
這就是所謂的自動化交易策略,還覺得神秘嗎?至少我覺得一點兒也不神秘,只不過是把普通話翻譯成了代碼而已。
還是那句話,如果沒有資金管理策略和交易經驗的積累,交易照樣賠錢,你還沒入門呢
看看這篇文章:
《為什麼說沒有學會資金管理交易實際還沒入門》
https://zhuanlan.zhihu.com/p/23762185
林魚兒:交易策略和交易系統是不是一回事?
不從「術」上解釋,只從「道」上解釋,AI執行金融交易是不可行的,這是一個悖論。
————————————————
補充一下吧:
我見過一些編程大神的訪談錄,觀點是其實最近所有的AI都是一些噱頭而已,最多也就是幫助人們做一些簡單的重複性的工作而已,遠沒有達到「智能」的水平,所以不要太去神話它了。就像前段時間比較熱的3D印表機一樣,其實30年前就有這個玩意,只不過抄了冷飯而已,到現在,還是關鍵問題沒有解決,就是3D列印的材料問題,就是由一堆粉末粘合起來的,硬度很差,遠遠達不到應用級別。
AI也是,從程序化交易的角度來講,1980年美國就開始研究了,但是效果很差,因為程序對是市場的變化敏感程度遠不及人腦,從而造成虧損,而且程序化交易造成的虧損往往可以形成踩踏效應,有人說1987年的美股股災,當天大跌22%出發熔斷就是程序化交易造成的。
所以我不太相信什麼AI和程序化交易,我也準備學習編程,但是只準備用來分析數據或者做一些提醒功能就可以了,不會用於交易的。
Sounds a lot like a company political bs to me.
我不懂ai,我也不懂什麼神經網路。但是我懂一個最粗陋的道理:一個市場上有個什麼東西能把所有人的錢都賺走,那麼誰還會跟他在這個市場里玩呢。如果它不能把所有的錢都賺走,那麼有什麼好擔心的,繼續賺自己的錢就好了。
——————————————————
我回答問題都是本著知道的說,不知道的不說,不妄下結論的原則。我也希望他人評論我的時候也是這種態度。——首先摩根用的ai機器人到底有多少人清楚的知道是怎麼回事?恐怕只有開發者和少部分管理者知道吧,普通人就算了解各大概也不可能觸碰到機密信息。所以這個基本上是個難以被人知道的東西(因此我沒有妄下結論說ai行或不行)。所以我們不好細緻的說他行或不行,或者他能達到什麼水平。但是太陽底下沒有新鮮事,有一些道理是簡單但通用的。我只是闡述一下這樣的道理。——其次你並不了解他人的交易系統,那麼你怎麼知道是否簡陋呢?(不知道的請不要妄下結論)。實際上就像下棋一樣,雖然象棋大師敗給了ai,但是不能說大師就很low。——最後關於我是否就是被淘汰的那個,我的回答里說的觀點傳達的是這樣的信息:假設我是象棋大師,我輸給了ai,但是我和普通人下的話我還是會贏的比賽的獎金,這就夠了。如果象棋市場因為ai的碾壓沒人玩了,我就換一個沒有ai的地方繼續做我的大師,賺我的錢。因為我是可以被贏的,所以還是會有人和我玩。
瀉藥!
這就是神經網路技術。事實上,我個人認為,世界上最先被人工智慧取代而消失的工作崗位就是我們交易員。別的都還只是估計、預測,但高盛、摩根、瑞銀等等這些投行投資幾千億美元研發的神經網路技術已經開始投入到市場中。有點忙,待會再填坑吧……
………………我是歡樂的分割線………………
繼續。我是傳統的交易員,不是數學家,因此我無法以技術的角度深入開展討論神經網路技術,我只能以它對我們身邊的影響來聊個天、吹會牛。
現在好多國內的基金公司也吹虛他們用著神經網路在交易,他們的AI會從犯過的錯誤中自主學習等等。去年我去四川成都見一位死胖子,一臉看不起人,約定時間見面開會談事情的,這哥們遲到一個半小時就算了,還打包著一份螺螄粉一邊嗦粉一邊說昨晚陪妹妹起床晚了,還沒吃早飯什麼的,最後我搭檔忍了,倒是談成了合作,他還想讓我們幫他改進他們的策略,我呸!最後,幸好沒深入開展合作,死胖子的公司今年倒了,跑到深圳求救……舉這個例子就是想告訴大家不要輕易相信那些小基金的什麼高科技忽悠,人家大投行幾千億投下去做研發的,請了多少數學天才,你他喵兩個億小店搞的EA也敢自稱神經網路AI?
又忙了,待會再填……昨天就想回答,今天驗證了手機信息來簡單說兩句。作為知情人士,這個新聞講的也大都真實。歐洲確實在交易,效果也比傳統的方法在某些方面要好。我們已經做了三年時間,這個演算法也還在不斷改進的過程中。
其實作為大的券商,執行效果好是一方面,穩定才是最主要的。而且要根據不同客戶的需求,設置參數,調模型等。這都不是一個簡單的做一個神經網路模型就算成功了。每調整一次參數,都要重新訓練網路,實盤效果也不好保證。所以並沒有完全取代傳統演算法。而且很多細節實際上起了很大作用,也還在研究中,細節就不能說了。這肯定是未來趨勢,上升空間還有很大。
科技改變生活這個還行,之前對於市場微觀結構的各種建模之下就有好多數學上的最優執行方法。這裡應該只是用神經網路加強了一下
這個問題的探討很有意義
前幾天jp來學校宣講,提到了machine learning in jp。關於他們這方面最大的進展之一就是loxm, by deep reinforcement learning。一個jp的quant說這個的突破在於 從human programmed 到computer programmed ,儘管一直都是algo trading。還講了一些他們其他的recent projects,這個就不細說了。
作為一個萬年不回復,不寫文章的人,剛剛就事論事談了下這個事,帖子就被刪掉了。莫非我觸碰到了誰敏感的神經?知乎水也深啊。
推薦閱讀:
※cart樹怎麼進行剪枝?
※在可見的未來,機器會不會替代投行員工?
※知識圖譜目前亟待的問題有哪些?
※美國機器學習方向的 master 找工作前景如何?
※如何理解在二維空間內線性不可分的數據,可以在五維空間內線性可分?
TAG:人工智慧 | 機器學習 | 摩根大通JPMorgan | 交易員 |