DevOps 漫談：基於OpenCensus構建分散式跟蹤系統

05-25

來自專欄睿哥雜貨鋪

Distributed Tracing and Monitoring System
OpenCensus: A framework for distributed tracing

隨著互聯網技術的高速發展，以往單應用的服務架構已經很難處理如山洪般增長的信息數據，隨著雲計算技術的大規模應用，以微服務、RESTful 為代表的各種軟體架構廣泛應用，跨團隊、跨編程語言的大規模分散式系統也越來越多。相對而言，現在要理解系統行為，追蹤診斷性能問題會複雜得多。

在單應用環境下，業務都在同一個伺服器上，如果出現錯誤和異常只需要盯住一個點，就可以快速定位和處理問題；但是在微服務的架構下，功能模塊天然是分散式部署運行的，前後台的業務流會經過很多個微服務的處理和傳遞，就連日誌監控都會成為一個大問題（日誌分散在多個伺服器、無狀態服務下如何查看業務流的處理順序等），更不要說服務之間還有複雜的交互關係。

用戶的一個請求在系統中會經過多個子系統（或者多個微服務）的處理，而且是發生在不同機器甚至是不同集群，當發生異常時需要快速發現問題，並準確定位到是哪個環節出了問題。對系統行為進行跟蹤必須持續進行，因為異常的發生是無法預料的，有些甚至難以重現。跟蹤需要無所不在，否則可能會遺漏某些重要的故障點。

為了解決上述問題，分散式跟蹤系統一種幫助理解分散式系統行為、幫助分析性能問題的工具應運而生。

Distributed Tracing and Monitoring System

討論分散式跟蹤就一定會談到 Dapper —— Google 公司研發並應用於自己生產環境的一款跟蹤系統（設計之初參考了一些 Magpie 和 X-Trace 的理念）。Dapper 不僅為業內提供了非常有參考價值的實現，同步發表論文的也成為了當前分散式跟蹤系統的重要理論基礎。

《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》

Modern Internet services are often implemented as complex, large-scale distributed systems.These applications are constructed from collections of software modules that may be developed by different teams, perhaps in different programming languages, and could span many thousands of machines across multiple physical facilities. Tools that aid in understanding system behavior and reasoning about performance issues are invaluable in such an environment.

在這篇論文中，Google 提出了關於分散式跟蹤系統的一些重要概念：

Annotation-based，基於標註或植入點、埋點

在應用程序或中間件中明確定義全局標註（Annotation），一個特殊的ID，通過這個 ID 連接每一條請求記錄。當然，這需要代碼植入，在生產環境中可以通過一個通用組件開放給開發人員。

跟蹤樹和span

在 Dapper 跟蹤樹（Trace tree）中，基本單元是樹節點（分配 spanid）。節點之間通過連線表示父子關係，通過 parentId 和 spanId 把所有的關係串聯起來，實現記錄業務流的作用。

Google Dapper 的理念影響了一批分散式跟蹤系統的發展，例如 2012 年，Twitter 公司嚴格按照 Dapper 論文的要求實現了 Zipkin （Scala 編寫，集成到 Twitter公司自己的分散式服務 Finagle ）；Uber 公司基於 Google Dapper 和 Twitter Zipkin 的靈感，開發了開源分散式跟蹤系統 Jaeger，例如 Jaeger 規範中同樣定義了 Span（跨度, 跨徑，兩個界限間的距離）。