國內外銀行有開始使用Spark計算或做機器學習的嗎,現在都做到什麼程度了?
現在國內外銀行或金融機構有開始使用spark或機器學習做數據處理的嗎?做到什麼程度了?應用在哪些方面?謝謝
拋磚引玉。來放一張圖:
這是今年Spark Summit 2017 San Francisco會議上Intel的關於BigDL深度學習庫的一個演講的內容。該演講的鏈接在:BigDL: Bringing Ease of Use of Deep Learning for Apache Spark
這張幻燈片正好講到銀聯在Spark上用BigDL做深度學習來做欺詐檢測。
去年 Spark Summit 上 Capital One 的 talk:Credit Fraud Prevention with Spark and Graph Analysis
混Tier 1投行IT,現在知道在用的有我司Credit Suisse, 還有Morgan Stanley, 別的公司表示不是很清楚, Goldman 和JP一直比較神秘。大數據應用很多,是不是用spark就不清楚了。而且說實話spark是不是有應用的必要,還是在討論的過程中,畢竟spark只是個大數據架構,實際的用途必須要結合項目和業務。
流行的technology在銀行里多多少少都能找到
以前打過醬油的:Spark, Hadoop, mongodb...現在打醬油中的:Kafka, Storm, Cassandra...同事用過的:NLP, machine learning, docker ...也有不少銀行說自己是tech company或者data company的 等著大家自己對號入座正在做一個銀行的項目類似於ETL類型的項目。裡面主要是Nifi Spark Hadoop。銀行現在是什麼技術新就使勁上,實際數據量很小,我們開玩笑叫Tiny Data或者Dripple Data。
BB一家,在用spark2.做計算,做什麼不太清楚,一般來說投行IT比真正的tech company在技術上落後十年。
加拿大的銀行現在正在全力走大數據路線。(不過今年好像微調了,市場回歸理性了。)
有老一點兒的系統還用著MR的,有積極改革的用Spark的。
機器學習大概是去年才在多倫多市場火熱起來的,預計還要1-2年才能出結果。
每個銀行內部有做崩了、砍掉了、做成了的,做成的中也有對外和對內的。
能對外展示的都是成功了的。看不到的項目更多。不過總體都是在喊FinTech,大概是為了忽悠群眾選擇自己吧(逃。。。。
單拿數據分析來說,銀行所涉及到的大數據量計算和機器學習的內容可以有很多,尤其是近幾年隨著機器學習演算法和工具的發展,數據分析的廣度越來越大,對計算平台的需求也越來越高。其他行或者本行的其他部門不太了解,以我參與的一家全國性銀行數據分析來說,以前的分析報告逐漸被線上分析加前端展示所取代。在分析過程中數據匯總在hadoop中完成,模型計算由Spark處理。涉及到的內容有風險識別、客戶挖掘、文本分析、數據預測等。銀行業對於IT設備和技術的投入力度是很大的,Spark應該已經應用很多了。
data processing用什麼都可以啊hive spark,看技術棧,DL現在問題是模型沒辦法解釋,你把人家拒了,你也不知道哪個變數出問題了
推薦閱讀:
※如何看待國內小額現金貸(發薪日貸)的發展?
※信用卡餘額代償(balance transfer)為什麼在國內做不起來?
※國內的信用環境有哪些具體的不足?
※互聯網金融給傳統金融行業帶來了哪些衝擊和改變?
※傳統金融服務模式正在和即將受到哪些衝擊?