阿里雲Elasticsearch的X-Pack:機器學習、安全保障和可視化

X-Pack

ELK是日誌分析領域較為流行的技術選擇,不少阿里雲用戶選擇在ECS上搭建開源Elasticsearch。目前,阿里雲和ES官方Elastic公司展開了產品合作,聯合推出了阿里雲Elasticsearch。與自建開源軟體相比,這款產品做了性能優化,支持彈性擴容,並搭載了商業版組件X-Pack,為用戶提供即開即用的託管服務。本文將對商業版組件X-Pack做深入解讀。

X-Pack介紹

阿里雲Elasticsearch搭載了V5.5版本的X-Pack,提供安全、監控、告警、報告、圖分析和機器學習六大擴展組件,無需額外安裝插件,就能與Elastisearch、Kibana無縫對接。

安全組件

2017年1月爆發了Elasticsearch數據勒索事件,涉及到的數據至少500億條,被刪除數據至少450TB。X-Pack中的安全組件提供了對應的安全解決方案,讓IT和應用團隊能夠依賴 X-Pack 來區分和管理正常用戶和惡意入侵者;與此同時,Elasticsearc中存儲的數據始終享有可靠的安全保障,公司高管和客戶都能高枕無憂。

密碼管理

結合 Active Directory 和 LDAP 等授權系統,可以創建自定義 Realm 來支持您自己開發的身份管理系統,或者使用我們的內置原生驗證。

用戶和角色許可權管理

控制用戶在 Elasticsearch中的許可權。授權 IT /運營團隊監控 Elasticsearch 集群健康狀況,但不授權查看或修改數據。或者為營銷團隊授予營銷專用數據的只讀許可權,但拒絕他們訪問其他索引。

數據加密

藉助 SSL/TLS 加密,您可以保護端對端傳輸、HTTP 傳輸,並在整個 Elasticsearch傳輸客戶端流量。IP 篩選也能夠防止未經批准的主機加入您的集群或與您的集群通信。

提供審核日誌

X-Pack 中的審核日誌功能能夠讓您輕鬆地維護所有系統和用戶活動的完整記錄,它可幫助您保持對內部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等規範的合規性。

安全組件功能,點擊了解更多

監控和告警組件

ELK應用性能監控

X-Pack提供對 Elasticsearch、Kibana 和 Logstash 的性能監控。儀錶板集合能夠幫助您在各個層級上評估儀錶板的狀態,同時為您提供所有必要的信息,讓您始終最大限度地發揮 ELK 系統的作用。

執行實時分析和歷史分析

可以將上周、上個月或去年的集群性能作為參考,分析今天的集群性能。並能夠幫助您優化磁碟空間和內存,利用歷史數據進行未來容量規劃。

定製和管理告警

檢測數據變化,可定製告警信息和通知渠道。通過Kibana可以管理和監控告警,並可以對告警歷史記錄進行查看和操作。

告警組件功能,點擊了解更多 監控組件功能,點擊了解更多

報告組件

阿里雲Elaticsearch用戶可以開箱即用X-Pack的報告組件功能,能夠為Kibana 可視化或儀錶板快速生成報告。用戶可以即需即取報告、預約報告、根據特定條件觸發報告,並自動將報告分享給他人。報告所採用的架構為報告賦予了可擴展性,並且便於報告傳輸,讓您能夠隨時隨地獲取 Kibana 中的信息。

報告組件功能,點擊了解更多

Graph組件

Graph 組件是一種基於 API 和基於 UI 的工具,能夠讓您數據中存在的相關關係浮現出來,同時能夠在任何規模下利用各項 Elasticsearch 功能,例如分散式查詢執行、實時數據可用性和索引等。 可應用於反欺詐、個性化推薦、安全分析等場景。

在 Kibana 中將關係可視化

Kibana 中的圖表 UI 讓您能夠直觀地看到Graph功能挖掘出的聯繫。 Kibana 中提供的任何地圖、時間軸、餅圖或原始文檔可視化,向下鑽取詳細信息。點擊由網路化實體構成的圖並與圖交互,可查看聯繫強度,甚至可以自定義顏色和圖標。

Graph組件功能,點擊了解更多

機器學習組件

數據複雜多變,當出現基礎設施問題、入侵者或業務問題時,幾乎不可能利用規則或通過人工監視儀錶板發現問題。X-Pack引入了機器學習功能可以實時地自動模擬 Elasticsearch 數據的行為——趨勢、周期等,從而更快地發現問題、簡化問題根源分析、降低誤報率。

IT 運維

發現應用請求數量異常降低,然後深入探究導致異常的問題伺服器。

安全性分析

發現異常網路活動或用戶行為,趁攻擊者製造破壞之前準確地定位攻擊者。

業務分析

如果您的電子商務網站中廢棄購物車異常增多,則會給您發出通知。

機器學習組件,點擊了解更多

阿里雲Elasticsearch

阿里雲Elasticsearch已正式發布啦,阿里雲攜手Elastic開源官方聯合開發,集成5.5.3商業版本X-Pack功能,歡迎開通使用。

點擊了解更多產品信息


推薦閱讀:

[MySQL]獵聘網數據分析職位數據清洗
如何用R訪問MySQL資料庫
[跟吉姆一起讀LevelDB]5.資料庫恢復(2)

TAG:数据库 | 大数据 | 安全 |