矽谷飄來五個字,SMACK
上次我們跟大家分享了「少打一局王者榮耀就能上手Spring Cloud?!」,學到就是賺到,翹課的同學抓緊補習了。本期為大家帶來全新「與矽谷大數據工程師吃著火鍋唱著歌就把SMACK入門了」篇。
SMACK起源於矽谷,旨在提供更快更強的大數據處理能力。SMACK剛登上技術舞台,便將傳統的數據處理能力提升了一個量級,狠狠打了hadoop等技術的老臉,從此有了一個響亮的名字SMACK。(假的)
那麼, SMACK到底是什麼?
SMACK是由Spark、Mesos、Akka、Cassandra、Kafka
5個技術名詞的縮寫,以Spark平台為大數據運算引擎(煤氣灶)、搭配分散式資源管理平台Mesos(鴛鴦鍋)、以及消息處理平台Kafka(紅油鍋底)、臉書和Twitter都愛用的NoSQL資料庫Cassandra(食材)、再加上分散式運算工具Akka(漏勺),適用於廣泛的數據處理場景的大數據框架(重慶老灶火鍋)。
當然,SMACK框架中的技術可以自由增加或替換,以此完成不斷升級的大數據處理需求。SMCAK雲框架里,我們在引擎層增加了Flink用於處理實時數據(麻油小碗),使用Kubernetes替換Mesos作為容器層(九宮格鍋)。這裡以某網站數據為例,提供SMACK大數據框架的最佳實踐,包括SMACK、數據接入、數據展示在內的完整框架展示。
注意,數據餐廳的火鍋盛宴即將開始!?
Step 1. 安裝雲幫PaaS平台(整體式廚房)
- 平台運行最小環境要求:4核CPU & 8GB 內存
- 框架運行最小環境要求:8核CPU & 32GB 內存
Step 2.下載SMACK Dockercompose文件(外賣小火鍋,配送到家的那種,懂伐)
https://github.com/cloudframeworks-smack/user-guide-smack/blob/master/docker-compose_ACP.yml
註:這個compose文件已經包含示例數據(帶鍋底),如需導入自己的項目數據,請看 Step 6。
Step 3.將compose文件導入雲幫平台(升鍋開火)
1.找到docker-compose_ACP 文件
2.通過雲幫平台啟動??
注意!這裡有個組件拓撲圖。
再次注意!這裡需要全部開啟「對外服務」(應用組組件之間互相通訊)。
又一次注意!有四個組件需要額外開啟「外部訪問」。
各組件變綠以後,表示創建成功,SMACK 為ready狀態。(開鍋大吉)
(我變綠了,但我也變強了)
還是注意! 接下來需要調整組件內存。(以海邊的kafka為例)
(打開之前導入docker-compose_ACP文件)
進行內存調整設置
調整完成後,點擊「設置」,系統自動調整內存。
Step 4.示例數據導入(自帶鍋底)
?1.由於每個人的口味不同,這裡以Grafana為例。
?2.配置SMACK雲框架中的示例數據(Grafana數據源設置)
Step 5.數據展示效果(盛盤動筷)
Step 6.如何變成自己的項目(下自己的喜歡菜,讓別人無菜可吃)
修改docker-compose.yml文件,找到akka-instream並添加,然後重新部署(重複 step 3-4-5,咕嚕咕嚕咕嚕)
—————————————————客氣的結束語————————————————
大數據火鍋盛宴,各位吃的還滿意嗎? 要不要我下面....
下面給大家預告下第三期「兩學一做,擁護基於區塊鏈的智能合約技術」 ,預計跟最phone 8同期發布,敬請期待。
更多行業乾貨敬請關注云生態那些事專欄:雲生態那些事
推薦閱讀:
※在哪些方面,Numpy的速度反而比不上原始Python?
※實驗數據中是否可以捨去少數顯著不合理的部分?判據是怎樣的?
※用 C++ 實現 Spark 有意義嗎?
※Python數據處理 I:數據的讀取與存儲