標籤:

雲計算impala和oozie學習之路

首先是官網視頻下載頁所有的視頻教程 http://www.bjsxt.com/download.html 支持在線觀看,也可離線下載視頻、源碼、文檔、ppt等,選擇方便的時間學習。

力薦!impala和oozie視頻教程 鏈接:bjsxt.com/2017/down_022

課程介紹:

Impala是Cloudera公司主導開發的新型查詢系統,它提供SQL語義,能查詢存儲在Hadoop的HDFS和HBase中的PB級大數據。

優點:

1、Impala不需要把中間結果寫入磁碟,省掉了大量的I/O開銷。

2、省掉了MapReduce作業啟動的開銷。MapReduce啟動task的速度很慢(默認每個心跳間隔是3秒鐘),Impala直接通過相應的服務進程來進行作業調度,速度快了很多。

3、Impala完全拋棄了MapReduce這個不太適合做SQL查詢的範式,而是像Dremel一樣借鑒了MPP並行資料庫的思想另起爐灶,因此可做更多的查詢優化,從而省掉不必要的shuffle、sort等開銷。

4、通過使用LLVM來統一編譯運行時代碼,避免了為支持通用編譯而帶來的不必要開銷。

5、用C++實現,做了很多有針對性的硬體優化,例如使用SSE指令。

6、使用了支持Data locality的I/O調度機制,儘可能地將數據和計算分配在同一台機器上進行,減少了網路開銷。

/========我是分割線=========/

敲黑板! 邦邦邦!

我們為什麼要用impala和oozie? 用來做大數據分析!

這套視頻教程由陳老師主講,史上最全、最細、最深的impala和oozie教程,非常適合零基礎和有基礎需要提升的人。

陳老師介紹

課程目錄:

01.impala簡介

02.impala架構_外部shell_3

03.impala內部shell_存儲_sql

04.oozie簡介

05.oozie視頻


推薦閱讀:

智慧城市的互聯網雲腦架構,7種城市神經反射弧的建設是重點
阿里雲到底是個什麼東西,與亞馬遜的雲服務相比較,它處於什麼位置?
什麼是雲支付?
雲計算九條定律
基於雲原生的秒殺系統設計思路

TAG:雲計算 |