矽谷飄來五個字,SMACK

上次我們跟大家分享了「少打一局王者榮耀就能上手Spring Cloud?!」,學到就是賺到,翹課的同學抓緊補習了。本期為大家帶來全新「與矽谷大數據工程師吃著火鍋唱著歌就把SMACK入門了」篇。

SMACK起源於矽谷,旨在提供更快更強的大數據處理能力。SMACK剛登上技術舞台,便將傳統的數據處理能力提升了一個量級,狠狠打了hadoop等技術的老臉,從此有了一個響亮的名字SMACK。(假的)

那麼, SMACK到底是什麼?

SMACK是由Spark、Mesos、Akka、Cassandra、Kafka

5個技術名詞的縮寫,以Spark平台為大數據運算引擎(煤氣灶)、搭配分散式資源管理平台Mesos(鴛鴦鍋)、以及消息處理平台Kafka(紅油鍋底)、臉書和Twitter都愛用的NoSQL資料庫Cassandra(食材)、再加上分散式運算工具Akka(漏勺),適用於廣泛的數據處理場景的大數據框架(重慶老灶火鍋)。

當然,SMACK框架中的技術可以自由增加或替換,以此完成不斷升級的大數據處理需求。SMCAK雲框架里,我們在引擎層增加了Flink用於處理實時數據(麻油小碗),使用Kubernetes替換Mesos作為容器層(九宮格鍋)。這裡以某網站數據為例,提供SMACK大數據框架的最佳實踐,包括SMACK、數據接入、數據展示在內的完整框架展示。

注意,數據餐廳的火鍋盛宴即將開始!?

Step 1. 安裝雲幫PaaS平台(整體式廚房)

  • 平台運行最小環境要求:4核CPU & 8GB 內存
  • 框架運行最小環境要求:8核CPU & 32GB 內存

Step 2.下載SMACK Dockercompose文件(外賣小火鍋,配送到家的那種,懂伐)

github.com/cloudframewo

註:這個compose文件已經包含示例數據(帶鍋底),如需導入自己的項目數據,請看 Step 6。

Step 3.將compose文件導入雲幫平台(升鍋開火)

1.找到docker-compose_ACP 文件

2.通過雲幫平台啟動??

3.下一步… 一步…. 步….

注意!這裡有個組件拓撲圖。

再次注意!這裡需要全部開啟「對外服務」(應用組組件之間互相通訊)。

又一次注意!有四個組件需要額外開啟「外部訪問」。

3.設置完成後,點擊頁面下方「建立一組應用」

各組件變綠以後,表示創建成功,SMACK 為ready狀態。(開鍋大吉)

(我變綠了,但我也變強了)

還是注意! 接下來需要調整組件內存。(以海邊的kafka為例)

(打開之前導入docker-compose_ACP文件)

進行內存調整設置

調整完成後,點擊「設置」,系統自動調整內存。

Step 4.示例數據導入(自帶鍋底)

?1.由於每個人的口味不同,這裡以Grafana為例。

?2.配置SMACK雲框架中的示例數據(Grafana數據源設置)

Step 5.數據展示效果(盛盤動筷)

Step 6.如何變成自己的項目(下自己的喜歡菜,讓別人無菜可吃)

修改docker-compose.yml文件,找到akka-instream並添加,然後重新部署(重複 step 3-4-5,咕嚕咕嚕咕嚕)

—————————————————客氣的結束語————————————————

大數據火鍋盛宴,各位吃的還滿意嗎? 要不要我下面....

下面給大家預告下第三期「兩學一做,擁護基於區塊鏈的智能合約技術」 ,預計跟最phone 8同期發布,敬請期待。

更多行業乾貨敬請關注云生態那些事專欄:雲生態那些事

推薦閱讀:

在哪些方面,Numpy的速度反而比不上原始Python?
實驗數據中是否可以捨去少數顯著不合理的部分?判據是怎樣的?
用 C++ 實現 Spark 有意義嗎?
Python數據處理 I:數據的讀取與存儲

TAG:大数据 | 数据处理 | PaaS |