有用過Splunk的嗎，大家都用Splunk做什麼？

01-23

splunk用來做日誌分析，而且因為貴，以及切割功能強大，更多應用於應用日誌

比如說，發現刷活動獎勵，發現非基線交易

Splunk 用官方的定義，主要是分析machine data。

而日誌恰好是典型的機器數據，所以有人覺得splunk僅僅是用來分析日誌的。

實際上，早期很多產品用免費的splunk做報表展示，因為做dashboard簡單實用。

後來splunk推出了SAES ，讓 splunk 在SIEM領域擠進了Gartner第一象限，所以splunk現在在安全領域也進步飛快。

我們現在用splunk做SIEM，主要考慮包括：

1、簡約：一個簡單的搜索框就是用戶入口的全部。簡約才有生命力，尤其是多個部門用戶使用，學習成本太高會直接導致系統成為「僵死系統」，要麼沒人用，要麼用也只是出出報告。除非有專職團隊。而splunk可以滿足28原則，用20%的學習時間掌握80%的功能，非常適合大量用戶使用。

2、不簡單：

2.1 有基於角色的用戶管理（RBAC）

2.2 可以做水平和垂直擴展而不需要做特殊區分。比如有些SIEM產品轉發器、索引、檢索全分開，各是一種產品，看名字都把人看暈。而一個splunk實例本身就具有多個角色，減少了額外學習成本。

2.3 SIEM產品該有的功能都具備：關聯分析、告警、事件記錄、黑白名單等。

2.4 報表：這點用過的自己會有體會。

好了，任何產品都有缺點，Splunk 最大的缺點就是：貴貴貴貴貴貴貴！！！！

title: Splunk官方培訓筆記

date: 2016-03-22 16:22:32

categories: 學習 | Study

description: Splunk智能運維，挖掘數據的價值

---

## 前言

Splunk作為一款成熟的商業化日誌處理分析產品無論在功能上還是用戶體驗上都是令人滿意的，而開源方案ELK(Elasticsearch+Logstash+Kibana)相信也有很多朋友考慮或者正在使用，我在這裡不想討論孰優孰劣因為不同的業務場景出發點不同，共存也是不錯的選擇。文章通過1天的Splunk官方培訓記錄相關基礎概念和動手實驗，Splunk上手速度灰常快不過也需要掌握正則表達式，歡迎大家一起學習哈。

&> Splunk智能運維，挖掘數據的價值

## 更新記錄

2016年03月22日 - 初稿

閱讀原文 - Splunk官方培訓筆記

**擴展閱讀**

Splunk - Operational Intelligence, Log Management, Application Management, Enterprise Security and Compliance

正則表達式30分鐘入門教程 - 正則表達式30分鐘入門教程

## 機器數據

機器數據中包含客戶、用戶、交易、應用程序、伺服器、網路和手機設備所有活動和行為的明確記錄。不僅僅包含日誌。還包括配置、API 中的數據、消息隊列、更改事件、診斷命令輸出、工業系統呼叫詳細信息記錄和感測器數據等。

計算機數以未知格式的陣列存儲，監測和分析工具的傳統集並未為多樣性、速率、數據量、可變性設計。一個專為此獨特類型數據設計的全新方法，必須可以快速診斷服務問題、檢測複雜信息安全威脅、遠程設備的健康狀況和性能，以及說明合規性。

### 機器數據源

&> 每個環境都有獨特的機器數據空間，以下是一些示例。

數據類型 | 位置 | 它可以告訴您什麼

---- | ---- | ----

應用日誌 | 本地日誌文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP | 用戶活動、欺詐檢測、應用性能

業務流程日誌 | 業務流程管理日誌 | 跨渠道客戶活動、購買、帳戶變更以及問題報表

呼叫詳細信息記錄 | 呼叫詳細信息記錄 (CDR)、計費數據記錄、事件數據記錄均由電信和網路交換機所記錄。 | 計費、收入保證、客戶保證、合作夥伴結算，營銷智能

點擊流數據 | Web 伺服器、路由器、代理伺服器和廣告伺服器 | 可用性分析、數字市場營銷和一般調查

配置文件 | 系統配置文件 | 如何設置基礎設施、調試故障、後門攻擊、"定時炸彈"病毒

資料庫審計日誌 | 資料庫日誌文件、審計表 | 如何根據時間修改資料庫數據以及如何確定修改人

文件系統審計日誌 | 敏感數據存儲在共享文件系統中 | 監測並審計敏感數據讀取許可權

管理並記錄 API | 通過 OPSEC Log Export API (OPSEC LEA) 和其他 VMware 和 Citrix 供應商特定 API 的 Checkpoint 防火牆 | 管理數據和日誌事件

消息隊列 | JMS、RabbitMQ 和 AquaLogic | 調試複雜應用中的問題，並作為記錄應用架構基礎

操作系統度量、狀態和診斷命令 | 通過命令行實用程序（例如 Unix 和 Linux 上的 ps 與 iostat 以及 Windows 上的性能監視器）顯示的 CPU、內存利用率和狀態信息 | 故障排除、分析趨勢以發現潛在問題並調查安全事件

數據包/流量數據 | tcpdump 和 tcpflow 可生成 pcap 或流量數據以及其他有用的數據包級和會話級信息 | 性能降級、超時、瓶頸或可疑活動可表明網路被入侵或者受到遠程攻擊

SCADA 數據 | 監視控制與數據採集 (SCADA) | 識別 SCADA 基礎結構中的趨勢、模式和異常情況，並用於實現客戶價值

感測器數據 | 感測器設備可以根據監測環境條件生成數據，例如氣溫、聲音、壓力、功率以及水位 | 水位監測、機器健康狀態監測和智能家居監測

Syslog | 路由器、交換機和網路設備上的 Syslog | 故障排除、分析、安全審計

Web 訪問日誌 | Web 訪問日誌會報告 Web 伺服器處理的每個請求 | Web 市場營銷分析報表

Web 代理日誌 | Web 代理記錄用戶通過代理髮出的每個 Web 請求 | 監測並調查服務條款以及數據泄露事件

Windows 事件 | Windows 應用、安全和系統事件日誌 | 使用業務關鍵應用、安全信息和使用模式檢測問題。

線上數據 | DNS 查找和記錄，協議級信息，包括標頭、內容以及流記錄 | 主動監測應用性能和可用性、最終客戶體驗、事件調查、網路、威脅檢測、監控和合規性

## 實驗準備

&> 免費版每天最多可對 500 MB 數據建立索引

Splunk Enterprise - 免費下載 Splunk Enterprise

``` bash

file://C:UserswsgzaoDesktopsplunk_workshop (2 folders, 3 files, 26.20 MB, 48.25 MB in total.)

│ sampledata-selected.zip 323.36 KB

│ splunk.pdf 24.02 MB

│ tutorialdata.zip 1.86 MB

├─sampledata-selected (0 folders, 3 files, 4.07 MB, 4.07 MB in total.)

│ access.log 4.06 MB

│ http_status.csv 1.34 KB

│ prices.csv 630 bytes

└─tutorialdata (5 folders, 0 files, 0 bytes, 17.99 MB in total.)

├─mailsv (0 folders, 1 files, 1.06 MB, 1.06 MB in total.)

│ secure.log 1.06 MB

├─vendor_sales (0 folders, 1 files, 1.96 MB, 1.96 MB in total.)

│ vendor_sales.log 1.96 MB

├─www1 (0 folders, 2 files, 5.18 MB, 5.18 MB in total.)

│ access.log 4.06 MB

│ secure.log 1.12 MB

├─www2 (0 folders, 2 files, 4.87 MB, 4.87 MB in total.)

│ access.log 3.85 MB

│ secure.log 1.02 MB

└─www3 (0 folders, 2 files, 4.91 MB, 4.91 MB in total.)

access.log 3.86 MB

secure.log 1.05 MB

```

https://www.slideshare.net/slideshow/embed_code/key/dQlrUNPu3JNYjp" w="427" h="356" frameborder="0" marginw="0" marginh="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen>

## 動手實驗

&> 安裝Splunk極其簡單，這裡以Windows為例

http://localhost:8000/zh-CN/

http://localhost:8000/en-US/

Search App：數據導入，了解splunk搜索界面，執行基本搜索

Field：了解Splunk欄位含義；欄位提取；欄位對照

SPL：使用SPL（SplunkSearchProcessingLanguage）指令實現目標場景

Businessused cases：場景實現，自定義儀錶盤製作

&> Objectives of workshop

- Learn how to start indexing machine data in Splunk.

- Leverage these machine data for reporting and learn some of the common reporting commands.

- Learn to use searches to pull out data of importance.

- Get an idea on an unique Splunk feature called "schema-on-the-fly", and understand how to apply such 「Fields」 to machine data to make IT and business sense.

- Learn how to build and share dashboards during the class.

- Get an idea how to create data model and create pivot reports*

- You can re-run the whole workshop after this session anywhere

- QA

&> 實驗過程

我覺得操作都很簡單，大家可以多參考官方的Splunk Documentation

Documentation

Simplified Chinese manuals

正則表達式30分鐘入門教程 - 正則表達式30分鐘入門教程

最近正在用splunk處理安全監控、業務分析、日誌審計等的內容，splunk似乎比較小眾，但是用了一段時間後，感覺十分強大，擴展了不少思路。

1、監控異常URL訪問。

從web層面來說，就是監控用戶訪問行為。簡單粗暴的關鍵詞監控，如SQL注入、命令執行等。splunk提供很好的欄位搜索功能。此外，可以配合top、rare等關鍵詞輕鬆獲取時間段內最多來源ip、最多來源uri、最多來源UA等，基本可以得到最粗獷的數據。

2、統計異常。

除了日誌系統最基本的搜索功能之外，用戶的訪問請求一些深層次的統計信息，都可以通過splunk完成。

那麼，日誌可以挖掘的東西有哪些呢？舉例幾點來說：

異常頻率：數值的異常，應對羊毛黨、掃描器、黑/灰客測試，以及異常介面
異常來源：UserAgent的異常，應對營銷渠道的惡意刷單，嚴重的會耗費渠道費用
異常轉化率：跳轉到下一頁面百分比異常，如某頁面節點由於無驗證機制，導致被惡意刷單

以上三點，都只需要訪問日誌。如果基於業務日誌的分析，則可以有更多的玩法，後期的突破點不再是splunk本身，而是數據分析的思路了。

3、統一的日誌管理平台。

通過syslog、轉發器等，將網路中的資料庫審計日誌，或其他腳本生成的日誌進行抓取
周期搜索一些數據生成報表，還提供加速功能
發送郵件等告警
做角色控制，提供開發和運維人員查日誌

4、擴展介面

使用python等腳本進行二次開發
結合外部ip庫等資源，實現威脅溯源分析等

在實際應用中，還發現splunk有很多強大的功能，外部搜索、數據聚合等，目前感覺我想到的它都可以實現，它想到的我還在探索。

大數據分析工具，企業的IT數據Google

Splunk主要面向機器數據（Machine Data），但最常用的場景是日誌分析，主要包括搜索、規則解析、可視化等

我們在做的袋鼠雲日誌（http://log.dtstack.com），也在做類似的事情，不過我們在實時日誌追蹤和可視化大屏等方面會做得更多一點。日誌在運維和業務場景下，這兩個功能都是非常的實用的。我個人比較傾向於從實際場景出發做產品。目前從一些企業客戶的反饋來看，袋鼠雲日誌的幾個重點功能還是非常受歡迎。但做為一個創業還不到一年的產品，在場景豐富度上還需要向Splunk學習。

主要用於日誌分析用的，你聽說過大數據比如很多免費的技術 hadoop hbase flume mapreduce等結合起來也可以做日誌分析，但是因為這些東西都是免費的的而且用起來1 耗資源 2 不穩定 3 速度慢。splunk 是一個商業日誌分析軟體，你用一下就知道了，因為現在很多企業都不願意花錢所以你可能也沒地方用，不過很多開源課程都有教學版可以讓你用你去coursera上搜一下就會找到的但是也要交一點學費才可以使用。

搭給研發做錯誤日誌分析，自己拿來做SIEM，功能強大，當然最最重要的一點是，這玩意可以破解