Logtail從入門到精通（二）：開啟日誌採集之旅

Logtail相關概念

為了更好的了解日誌採集，這裡我們首先對日誌採集中遇到的基本概念進行簡要的介紹。

概念介紹

• 項目： 項目（Project）是日誌服務中的資源管理單元，用於資源隔離和控制。您可以通過項目來管理某一個應用的所有日誌及相關的日誌源。它管理著用戶的所有日誌庫（Logstore），採集日誌的機器配置等信息，同時它也是用戶訪問日誌服務資源的入口。
• 日誌庫： 日誌庫（Logstore）是日誌服務中日誌數據的採集、存儲和查詢單元。每個日誌庫隸屬於一個項目，且每個項目可以創建多個日誌庫。
• Logtail客戶端： Logtail是一款執行日誌收集工作的Agent，一般安裝在需要收集日誌的伺服器上，作為獨立軟體運行。
• 機器組： 一個機器組包含一或多台需要收集一類日誌的機器。通過綁定一組Logtail配置到一個機器組，可以讓日誌服務根據同樣的Logtail配置採集一個機器組內所有伺服器上的日誌。
• 採集配置： 是Logtail收集日誌的策略集合，採集配置一般包括需要採集的數據源、解析方式、過濾方式等參數，所有採集配置均在控制台進行管理。

各概念間關係

1. 日誌庫直接負責日誌存儲，所有Logtail採集的數據最終都會存儲到日誌庫中。
2. 日誌庫由項目進行管理，項目和日誌庫的關係類似於資料庫和表之間的關係。
3. 一個日誌庫中可包含多個不同的採集配置，日誌庫下的採集配置默認將數據採集到該日誌庫。
4. 採集配置並不直接應用於Logtail客戶端，而是應用於中間層的機器組，便於大規模集群和應用的靈活管理。
5. 一個Logtail可屬於多個機器組，一個機器組可包含多個Logtail，實現Logtail與機器組的解耦。
6. 一個採集配置可應用到多個機器組，一個機器組可關聯多個採集配置，實現機器組與採集配置的解耦。

安裝配置流程

Logtail的安裝配置流程相對比較簡單，如果日誌服務和ECS在同一賬號下，則只需5個步驟即可實現採集。

• 日誌服務已經和ECS打通，可自動獲取ECS對應的owner信息，因此不需要設置aliuid信息。

安裝Logtail

ECS安裝

1. 購買一台ECS

1. 根據ECS所在區域選擇Logtail安裝腳本（參見Logtail安裝指南）

• 例如華東1的經典網路，使用wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou

1. 使用/etc/init.d/ilogtaild status檢查Logtail運行狀態，如輸出ilogtail is running表示安裝成功

自建主機安裝

1. 選擇任意公網Logtail安裝腳本（參見Logtail安裝指南）

• 例如選擇華東1公網安裝，使用wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet

1. 使用/etc/init.d/ilogtaild status檢查Logtail運行狀態，如輸出ilogtail is running表示安裝成功
2. 配置賬號標識文件（參見非本人ECS/線下機器，配置完成後無需重啟Logtail）

配置

創建項目和日誌庫

1. 在阿里雲官網產品中選擇日誌服務或直接點擊進入日誌服務控制台，若您當前沒有開通，會提示您開通日誌服務，點擊開通。
2. 點擊創建Project按鈕，地域(Region)中選擇Logtail安裝時所選的地域，例如選擇華東1（杭州）。

1. Project創建成功後會提示創建Logstore，點擊創建；這裡我們輸入Logstore名稱，其他參數無需修改，點擊確認。

創建採集配置

1. Logstore創建完畢後，會提示進行數據接入。如下圖所示，可通過三個入口創建採集配置：

1. 在彈出的數據接入頁面中，我們選擇自定義數據中的文本文件接入。

1. 在採集配置中我們選擇極簡模式，日誌路徑中的文件夾和文件名分別輸入/var/log和message，點擊下一步。

創建機器組並應用

1. 配置頁面點擊下一步後，會提示您選擇機器組，這裡我們點擊創建機器組。

1. 機器組配置頁面中選擇IP地址類型的機器組，IP輸入ECS的內網IP（Logtail獲取的IP地址可通過cat /usr/local/ilogtail/app_info.json查看）

1. 保存機器組後，勾選該機器組並點擊應用到機器組。後續設置無需關心，直接點擊下一步。

查看日誌

此時採集配置已經創建完畢，您可以嘗試退出重新登錄主機或輸入命令echo "test message" >> /var/log/message，這時本地/var/log/message文件會有新的日誌產生，Logtail就會採集到這些數據了。

點擊日誌庫頁面的預覽或查詢鏈接，即可看到Logtail採集上來的日誌了。

原文鏈接

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎