數據越多垃圾越多？如何收集、處理、分析更多的安全數據

02-02

安全遙測正在興起，但獲取洞見性及可運營化的數據依然困難，很多企業在這方面是落後於時代的。我們需要全行業的努力來扭轉這種局面。

安全團隊如今收集的數據可謂海量。企業戰略集團(ESG)的研究表明，38%的企業每個月安全運營中要收集、處理和分析10TB以上的數據。都是什麼類型的數據呢？最大的數據源包括：防火牆日誌、其他安全設備的日誌數據、網路設備的日誌數據、反病毒(AV)工具產生的數據、用戶活動日誌、應用日誌等等。

值得指出的是，收集來的安全數據數量每年都在增長。事實上，28%的企業稱現在比2年前收集、處理和分析的數據量多了很多，而另外49%的企業稱當前處理數據量比2年前多了一些。

總的來說，這種對安全數據的痴迷是件好事兒。大堆數據中總會藏著少量有價值的精華。那麼理論上，數據越多，等於精華越多。

然而，不幸的是，數據越多，垃圾數據也就越多。總有人得去梳理數據，轉譯數據，讓數據有意義，能使用。而且，基本的存儲問題也是存在的。是全部數據都存儲下來呢？還是定義某種價值分類方法，保留有價值數據，扔掉其他的？是集中存儲，還是分散式存儲？是放在自家內部網路上，還是置於雲端？還有，到底該怎麼管理這所有的數據：關係資料庫管理系統(RDBM)？分散式多用戶全文搜索引擎Elastic？分散式系統基礎架構Hadoop?SIEM?

面對問題吧！安全就是個大數據應用，是時候統合安全行業和網路安全人士，考慮安全數據問題，想出共有的解決方案了。

此處有些建議可供參考：

1. 我們需要倍加重視數據規範

是的，我們有一些標準格式，出自MITRE這樣的組織，比如STIX、TAXII、CVE列表等等。但常見的抱怨是，這些標準都太複雜了，而且主要用於美國聯邦政府。我們需要創建簡單的標準數據封裝，可以用在幾乎全部安全數據上的那種。

舉個例子，不用捨近求遠，就看看Splunk吧。該公司建議採用通用信息模型(CIM)標準，來規範所有數據。這樣就可以更容易地檢索數據，將數據置於上下文中理解，並能關聯不同系統中的數據元素。作為一個行業，我們需要的，是全部安全數據都能遵從類似CIM的一個開箱即用的模型，讓每個人都可以更輕鬆地處理數據。

2. 所有安全數據都應可通過標準API使用

除了通用格式，所有分析工具、SaaS產品，還有數據倉庫，都應提供通過標準API導入/導出數據的功能。比如這樣一個用例：公司網路中有SIEM和網路分析工具，但外包了終端檢測與響應(EDR)和威脅情報分析工作給SaaS提供商。當公司安全運營中心(SOC)團隊檢測到安全事件，他們應能通過想用的任意工具（或多個工具），即時從所有源分析全部數據。

我們需要數據能通過標準API進行實時導入/導出，以便可以簡單有效地實時按需取用數據。

3. 企業需要分散式安全數據管理服務

今天的安全運營環境中，同樣的數據會在不同分析工具中收集處理多次。這樣非常浪費。為提升安全數據的效率和有效性，所有安全遙測都應通過分散式數據管理服務加以收集、處理、規範化並提供使用。

應澄清的一點是，數據並非就在分散式數據管理服務中加以分析。相反，數據應通過標準介面，以通用格式呈現給所有類型的分析工具。此類安全數據管理服務，還應負責基本的維護和安全操作。比如備份/恢復、歸檔、數據壓縮、加密等等。分散式安全數據管理服務可能會在內部存儲一些數據，然後自動過期並歸檔其他數據到更便宜的存儲上(如磁帶、雲等)。注意：分散式安全數據管理服務，是ESG的SOAPA多層架構中的一層。

4. CISO必須擁抱人工智慧和機器學習

鑒於安全數據規模的增長，知道數據的類型、位置、含義，清楚怎樣整合數據的人的數量，就顯得非常的小，且還在持續縮小中。幾乎可以斷定，我們實際上已經跨越了人類可以有效處理這些數據的那條線。是時候讓機器來做那繁重的多層數據分析工作，為人類總結歸納數據，只把困難的決策工作留給人類就好。

好消息是，已經有很多安全類AI創新，很多解決方案也走到了實用階段。壞消息是，市場上炒作太多，乾貨太少。給CISO的建議是：貨物出門概不退換，買者自行小心，將大量資源投入研究、信息邀請書(RFI)/建議邀請書(RFP)和概念驗證項目中。

5. 盡量自動化，更多自動化

任何可被自動化的東西都應該自動化，包括數據收集、數據規範化、數據分發、數據分析和自動化修復。人類應降到安全數據周期的末端，專註困難的調查和決策。

面對現實，好心的安全團隊被如今龐大的數據量淹沒。他們奮不顧身，儘力而為，但現實結果卻冰冷殘酷：隨著安全數據規模上升，安全人員只能導出價值的增量部分。你甚至可以得出這樣的結論：更多安全數據需要的額外操作開銷，實際上會減少數據的價值——當今很多企業的現狀。

要讓增加的數據更有用，我們需要讓它更易於消費、分析和操作化。而要達到這一點，安全行業和網路安全從業者需要精誠合作，共同努力。