Apache Storm 1.1.0 中文文檔 | ApacheCN

前言

Apache Storm 是一個免費的,開源的,分散式的實時計算系統.

官方文檔: http://storm.apache.org

中文文檔: http://storm.apachecn.org

ApacheCN 最近組織了翻譯 Storm 1.1.0 中文文檔 的活動,整體 翻譯進度 為 96%.

感謝大家參與到該活動中來

感謝無私奉獻的 貢獻者,才有了這份 Storm 1.1.0 中文文檔

感謝一路有你的陪伴,我們才可以做的更好,走的更快,走的更遠,我們一直在努力 。。。

網頁地址: storm.apachecn.org/rele

github: github.com/apachecn/sto

如果您有任何意見建議,問題反饋,或者也想參與該翻譯,或者想成為該項目的負責人,麻煩聯繫企鵝: 1042658081

技術交流企鵝群: 214293307

學習方法

  1. Storm 怎麼學習,怎麼入門 ?

我只能悄悄的告訴你,跟著中文文檔走,把文檔看一遍先,文檔中的概念,例子什麼的先弄懂,基本上就入門了

  1. Storm 如何成為大神呢?

先看看大佬們的 blog 學習下,多在群裡面跟別人討論下

文檔內容目錄

NOTE(注意)

在最新版本中, class packages 已經從 "backtype.storm" 改變成 "org.apache.storm" 了, 所以使用舊版本編譯的 topology 代碼不會像在 Storm 1.0.0 上那樣運行了. 通過以下配置提供向後的兼容性

client.jartransformer.class: "org.apache.storm.hack.StormShadeTransformer"

如果要運行使用較舊版本 Storm 編譯的代碼, 則需要在 Storm 安裝中添加上述配置. 該配置應該添加到您用於提交 topologies(拓撲)的機器中.

更多細節, 請參閱 issues.apache.org/jira/.

Storm 基礎

  • Javadoc
  • 概念
  • 調度器
  • 配置
  • 保證消息處理
  • Daemon(守護進程)容錯
  • 命令行 client(客戶端)
  • REST API
  • 理解 Storm topology 的 parallelism(並行度)
  • FAQ

Layers on Top of Storm

Storm Trident

Trident 是 Storm 的另一個 interface(介面). 它提供了 exactly-once(僅且一次)處理, "transactional(事務性的)" datastore persistence(數據存儲持久化), 以及一些常見的 stream analytics operations(流式分析操作).

  • Trident 教程 -- 基礎的概念和預排工作
  • Trident API 概述 -- 針對 transforming(轉換)和 orchestrating 數據的操作
  • Trident State(狀態) -- exactly-once(僅且一次)處理以及 fast(快速的), persistent aggregation(持久化的聚合)
  • Trident spouts -- transactional(事務性的)和 non-transactional(非事務性的)數據引入
  • Trident RAS API -- 與 Trident 一起使用 Resource Aware Scheduler .

Storm SQL

該 Storm SQL 的集成可以讓用戶在 Storm 的 streaming data(流式數據)上來運行 SQL 查詢.

NOTE(注意): Storm SQL 是一個 experimental(實驗性的) 功能, 所以 Storm SQL 的結構和所支持的功能在以後可能會發生變化. 但是小的變化不會影響用戶體驗. 在引入 UX 更改時, 我們會及時通知用戶.

  • Storm SQL 概述
  • Storm SQL 示例
  • Storm SQL 文獻
  • Storm SQL 結構

Flux

  • Flux Data Driven Topology Builder

Storm 安裝和部署

  • 安裝一個 Storm 集群
  • Local mode(本地模式)
  • 問題排查
  • 在生產 cluster(集群)上運行 topologies(拓撲)
  • 構建 Storm with Maven
  • 安裝 Secure(安全的)Cluster(集群)
  • CGroup 的實施
  • Pacemaker 針對大集群減低在 zookeeper 上的負載
  • Resource Aware Scheduler(資源意識調度器)
  • Daemon Metrics/Monitoring(守護進程的度量/監控)
  • Windows 平台的用戶指南

Storm 中級

  • Serialization(序列化)
  • Common patterns(常見模式)
  • Clojure DSL
  • 與 Storm 一起使用非 JVM 的語言
  • 分散式的 RPC
  • Transactional topologies(事務性的拓撲)
  • Hooks(鉤子)
  • Metrics(度量)
  • State Checkpointing
  • Windowing(窗口操作)
  • Joining Streams
  • Blobstore(Distcahce)

Storm 調試

  • Dynamic Log Level Settings
  • Searching Worker Logs
  • Worker Profiling
  • Event Logging

Storm 與外部系統, 以及其它庫的集成

  • Apache Kafka 集成, 新的 Kafka Consumer(消費者)集成
  • Apache HBase 集成
  • Apache HDFS 集成
  • Apache Hive 集成
  • Apache Solr 集成
  • Apache Cassandra 集成
  • JDBC 集成
  • JMS 集成
  • Redis 集成
  • Event Hubs 集成
  • Elasticsearch 集成
  • MQTT 集成
  • Mongodb 集成
  • OpenTSDB 集成
  • Kinesis 集成
  • Druid 集成
  • Kestrel 集成

Container, Resource Management System Integration

  • YARN 集成, 通過 Slider 集成 YARN
  • Mesos 集成
  • Docker 集成
  • Kubernetes 集成

Storm 高級

  • 為 Storm 定義非 JVM 語言的 DSL
  • 多語言協議(如何為其它語言提供支持)
  • 實現文檔

結束感言

翻譯過程中,大家有說有笑,有時候大家自己也不太懂,關鍵字啥的都會搞錯,完全看不懂,一臉懵逼,醉了 。。。

但總算是把這份中文文檔給弄好了吧,也算是對大家,或者對自己有一個交代,沒有半途而廢吧!~~~

希望大家可以一起走的更快,走的更遠 。。。

如果您有任何意見建議,問題反饋,或者也想參與該翻譯,或者想成為該項目的負責人,麻煩聯繫企鵝: 1042658081

技術交流企鵝群: 214293307


推薦閱讀:

Apache Flink和Apache Spark有什麼異同?它們的發展前景分別怎樣?
Flink源碼解析-從API到JobGraph
Flink yarn-session啟動流程分析

TAG:ApacheStorm | Flink | Spark |