國內外銀行有開始使用Spark計算或做機器學習的嗎,現在都做到什麼程度了?

現在國內外銀行或金融機構有開始使用spark或機器學習做數據處理的嗎?做到什麼程度了?應用在哪些方面?謝謝


拋磚引玉。來放一張圖:

這是今年Spark Summit 2017 San Francisco會議上Intel的關於BigDL深度學習庫的一個演講的內容。該演講的鏈接在:BigDL: Bringing Ease of Use of Deep Learning for Apache Spark

這張幻燈片正好講到銀聯在Spark上用BigDL做深度學習來做欺詐檢測。


去年 Spark Summit 上 Capital One 的 talk:Credit Fraud Prevention with Spark and Graph Analysis


混Tier 1投行IT,現在知道在用的有我司Credit Suisse, 還有Morgan Stanley, 別的公司表示不是很清楚, Goldman 和JP一直比較神秘。大數據應用很多,是不是用spark就不清楚了。而且說實話spark是不是有應用的必要,還是在討論的過程中,畢竟spark只是個大數據架構,實際的用途必須要結合項目和業務。


流行的technology在銀行里多多少少都能找到

以前打過醬油的:Spark, Hadoop, mongodb...

現在打醬油中的:Kafka, Storm, Cassandra...

同事用過的:NLP, machine learning, docker ...

也有不少銀行說自己是tech company或者data company的 等著大家自己對號入座


正在做一個銀行的項目類似於ETL類型的項目。裡面主要是Nifi Spark Hadoop。銀行現在是什麼技術新就使勁上,實際數據量很小,我們開玩笑叫Tiny Data或者Dripple Data。


BB一家,在用spark2.做計算,做什麼不太清楚,一般來說投行IT比真正的tech company在技術上落後十年。


加拿大的銀行現在正在全力走大數據路線。(不過今年好像微調了,市場回歸理性了。)

有老一點兒的系統還用著MR的,有積極改革的用Spark的。

機器學習大概是去年才在多倫多市場火熱起來的,預計還要1-2年才能出結果。

每個銀行內部有做崩了、砍掉了、做成了的,做成的中也有對外和對內的。

能對外展示的都是成功了的。看不到的項目更多。不過總體都是在喊FinTech,大概是為了忽悠群眾選擇自己吧(逃。。。。


單拿數據分析來說,銀行所涉及到的大數據量計算和機器學習的內容可以有很多,尤其是近幾年隨著機器學習演算法和工具的發展,數據分析的廣度越來越大,對計算平台的需求也越來越高。其他行或者本行的其他部門不太了解,以我參與的一家全國性銀行數據分析來說,以前的分析報告逐漸被線上分析加前端展示所取代。在分析過程中數據匯總在hadoop中完成,模型計算由Spark處理。涉及到的內容有風險識別、客戶挖掘、文本分析、數據預測等。銀行業對於IT設備和技術的投入力度是很大的,Spark應該已經應用很多了。


data processing用什麼都可以啊hive spark,看技術棧,DL現在問題是模型沒辦法解釋,你把人家拒了,你也不知道哪個變數出問題了


推薦閱讀:

如何看待國內小額現金貸(發薪日貸)的發展?
信用卡餘額代償(balance transfer)為什麼在國內做不起來?
國內的信用環境有哪些具體的不足?
互聯網金融給傳統金融行業帶來了哪些衝擊和改變?
傳統金融服務模式正在和即將受到哪些衝擊?

TAG:銀行 | 機器學習 | 互聯網金融 | 金融 | Spark |