華為雲實時數據處理「三劍客」

8 人贊了文章

【小宅按】天下武功，無堅不破，唯快不破！

想要在這亂世活下來，講究的是快！准！狠！而一馬當先的即為「快」字。「快」講究對用戶，市場，企業自身的反應速度。

快是企業發展的生存之道，抓住商機，快速反應，面對市場，迅速轉型。大數據時代的快就是對數據的反應速度。

實時數據是從過程式控制制系統中實時採集的數據、向過程式控制制系統實時發送的數據以及對實時數據進行各種實時計算直接產生的中間數據。而對於實時數據的處理就是這「快」的關鍵。

大數據時代的崛起

近年來，實時性很強的數據種類越來越多，數據產生的速度越來越快，數據量也越來越大。這些數據在各行各業的重要性毋容置疑。但受技術，設備的限制，實時數據的處理一直是技術領域的難點。

比如說在物聯網IoT領域，實時的設備數據可以用來做故障的實時監控和維護性的預測；在金融領域，交易系統的數據需要實時地呈現給客戶和被自動交易系統處理；在電商領域，網路銷售的數據可以用來做實時推薦和輿情分析；在IT領域，軟體系統的日誌收集和處理對服務異常報警和故障的檢測至關重要；在交通領域，實時的交通數據，可以用來做交通指揮的優化。

比如因新零售拔地而起的電商平台，用戶交易數據和後台商品數據是第一手實時數據，此類數據需要實時更新，交給交易系統處理，同時在運營後台呈現。尤其是現在打折，促銷，秒殺，砍價等營銷模式層出不窮，如果系統出現問題，那麼蒙受的損失將會十分巨大。

實時監控設備信息，監管商品交易數據並且做到實時處理，這對於企業來說，將變得非常有必要。

大數據時代的難點

此外，大數據時代，企業都會有自己的推薦系統。傳統的個性化推薦系統採用定期對數據進行分析的做法來更新模型。由於是定期更新，推薦模型無法保持實時性，對用戶當前的行為推薦結果可能不會非常精準。

實時分析用戶產生的數據，可以更準確地為用戶進行個性化推薦，同時根據實時的推薦結果進行反饋，但處理實時數據不是一件容易的事情。

主要的困難在於：

① 數據量非常大：系統要求非常高，處理數據的時候，容不得半點故障甚至宕機，實時處理的系統要求也遠遠高於離線系統，

② 實時處理系統規模跟不上業務增長的需求：很多實時數據(比如金融的K線分析)需要專門的時序資料庫技術，而這些技術並不普及。

③ 自行搭建開源組件：比如說Kafka,Storm和HBase，不是一件容易的事情，Hadoop開源組件的部署和運維都需要耗費大量的金錢和人力。

夠「快」的華為雲三劍客

究其根本，實時數據處理的三個最根本的需求是：數據的接入，數據的實時分析處理，和數據的存儲。正對日益增長的在雲上來對數據進行實時處理的需求，華為雲EI推出了對實時數據處理的「三劍客」：數據接入服務（DIS），實時流計算服務（CS）和表格存儲服務（CloudTable）。

● 數據接入服務（DIS）是華為雲提供的完全託管的實時數據接入服務。DIS提供了靈活數據採集、高效數據傳輸、實時數據分發能力，讓您可以輕鬆構建基於實時數據的分析和應用。

● 實時流計算服務（CS）是實時流式大數據分析服務，完全託管計算資源和Serverless體驗，即時執行Stream SQL、Spark和Flink作業，提供低延時高吞吐的智能流計算平台。

● 表格存儲服務（CloudTable）是基於Apache HBase提供的分散式、可伸縮、全託管的NoSQL數據存儲服務，它提供了毫秒級的隨機讀寫能力，適用于海量結構化數據、半結構化數據存儲和查詢應用。同時基於OpenTSDB和GeoMesa提供時序資料庫能力和時空大數據查詢、分析能力。

華為雲上已經有諸多的客戶使用這「三劍客」服務對實時數據進行處理。某燃氣集團，通過使用DIS, CS和CloudTable構建了新的覆蓋全國的巡線系統，將巡線實時監控系統端到端查詢性能從十幾秒降低到秒級以內。

某金融初創企業，實時交易行情系統充分利用CloudTable內置的OpenTSDB能力，實時快速刷新15種時間窗的K線行情。某網路零售實時輿情系統，使用DIS接入數據的性價比遠遠超越線下自建系統，使用CS進行SQL編程輕鬆完成數據清洗。

大數據時代，用戶只會對那些貼心的、實時反饋的、足夠「快」的企業表示忠誠。如果你想要更「快」，那麼請不要猶豫，來使用華為雲的實時數據處理三劍客吧，他帶給你的效率和保障超乎你的想像！

更多精彩內容，請滑至頂部點擊右上角關注小宅吧~！

文章轉載自華為雲社區