如何成為雲計算領域的專家?

希望能從技術、架構、行業應用及解決方案等一個或多個角度描述一下成為專家的可能學習路徑,並推薦一些學習材料。

如果說需要一萬小時實踐,那麼該如何分配這一萬小時?


親,感謝邀請,推薦雲棲社區雲課堂欄目,在這裡可以找到有關雲計算相關從基礎到進階的系列學習課程:優質課程集錦-雲棲社區-阿里雲 在雲課堂中有雲計算入門、大數據、人工智慧、中間件等等眾多學習課程、視頻。期望能夠有所幫助:)


雲計算相關的title也有非常多,從技術領域來看,有存儲,計算,網路,機房,伺服器硬體等,從職能來看,有enginner, consultant, salesman, pre-sales, after-sales, operator ,sre等。 每個領域都可以成為專家。

如果是從技術開始,

一萬小時建議:

1. 花30天去把大學和研究生的書,特別是計算機原理,操作系統,計算機網路,c編程,數據結構和演算法編譯原理,以及一些相關的數學課程等複習一遍

2. 30天找一份工作,雲計算相關,建議找公司機器規模在1000以上的;

3. 花100天,在相關領域至少做一個可以全部機器部署的系統,並且可以提供有用的服務,簡單的例如並行ssh之類的都可以,只要你公司覺得可以。

4,接下來200多天把這個東西做成業界一流水準。例如這個東西性能超過puppet了,功能支持各種花樣的部署了。最好還是開源的。

最好總結下, 沒有捷徑,踏實一步一步走。不要相信什麼亂七八糟的培訓,專家在於積累,70%來自實踐,30%來自學習和跟他人交流得到。


我不是這個領域的專業,但是我先藉助專家(阿里 封神)的話來來回復一下:

初級

開始接觸hadoop,最好還是有語言工程等相關的基礎。如果工程能力、思維能力比較強,其實學習起來很快的。

  • 自己直接寫一些mapreduce、spark相關的代碼去解決一些業務問題
  • 熟悉hadoop的基本理論知識
  • 多看看官方的文檔
  • 知曉大體的hadoop體系架構,每個角色能解決的問題
  • 最好能體系的看下《Hadoop權威指南》

中級

這個階段,基本就是想進一步了解hadoop本身的

  • 前提開發能力較強,比如:java能力
  • 熟悉ETL/流失計算/圖計算/機器學習各種原理
  • 看一些社區hadoop的代碼,出現問題能直接看源碼解決
  • 能去優化hadoop的一些性能問題,知曉大體性能的瓶頸點
  • 可以改造內核,或者參與社區開發
  • 有較多的大數據的項目經驗,做過複雜項目
  • 可以看下更多的1-2個計算引擎

高級

在這個階段,一般書籍就沒有太多的用處,一般需要看看paper

  • 修改各種引擎的核心代碼,這些包括:hadoop/spark/flink/strom/hive/hbase/kafka/等
  • 學習力強,可以迅速看清楚各種框架
  • 有較強的分散式理論知識
  • 能觸類旁通,創新出一套新的大數據引擎,比如:spark
  • 能前瞻性預測未來引擎發展方向

建議

  • 最好的學習方式是:動手,動手寫code
  • 多參加技術會議,融入hadoop圈子,如:hadoop submit,spark submit,有時候一些城市會有一些交流會
  • 關注Cloudera、databricks、阿里雲E_MapReduce 等博客
  • 多關注一些群,可以加筆者的微信(fengshenwukong),筆者拉下
  • 多關注一些圈子內的微博號或者同學,可以從筆者的微博關注裡面找(筆者的微博號:阿里封神)
  • 關注你關注的軟體的郵件列表
  • 多寫寫博客,分享自己的心得,把知識沉澱下來
  • 多關注社區的發展

推薦的資料

hadoop生態資料太多,google一下一大把,筆者這裡列出的都是基本的:

首先推薦《hadoop權威指南》,基本會講述hadoop生態的各個組件,是不錯的書籍。

再次就是各個軟體的官方文檔,例如:hadoop、spark、kafka、

Hadoop基礎及ETL

主要包括Hadoop Yarn、HDFS、Hadoop MapReudce、Hive、Spark SQL等

  • 書籍:《Spark大數據處理技術》
  • 書籍:《Hive編程指南》
  • 書籍:《Hadoop技術內幕:深入解析YARN架構設計與實現原理》
  • 書籍:《Hadoop技術內幕:深入解析Hadoop Common和HDFS架構設計與實現原理》
  • 書籍:《Hadoop技術內幕:深入解析MapReduce架構設計與實現原理》
  • 論文:Bigtable: A Distributed Storage System for Structured Data
  • 論文:MapReduce: Simplified Data Processing on Large Clusters
  • 論文:The Google File System
  • 論文:Spark: Cluster Computing with Working Sets
  • 論文:Spark SQL: Relational Data Processing in Spark
  • 博客:Spark源碼分析

流式實時處理技術

主要包括Jstorm、Spark Streaming

  • 官方文檔:JStorm Chinese Documentation
  • 官方文檔:Spark Streaming

大數據KV、MPP領域

主要包括的是Hbase、Impala

  • 書籍: 《HBase權威指南》
  • 官方文檔:Apache Impala

本文章後續會繼續更新,歡迎大家關注!

原文地址:阿里封神談hadoop學習之路-博客-雲棲社區-阿里雲

大數據教程:碼源教程-編程貴在堅持


其實,是不是專家,你說了不算。得做了一定的東西,拿出來給一定的人看。時間久了,別人看到你做的東西多了,就會認可你這個磚家了。


推薦閱讀:

使用雲資料庫會不會導致本地伺服器連接太慢呢?
私有雲爆發,該不該意外?
有哪些優秀且免費的雲存儲服務?
如何看待微雲服務調整公告?
如何看待萬達獲得 IBM 在中國雲服務運營權,推 Watson 人工智慧服務?

TAG:雲計算 | 雲服務 | Hadoop | OpenStack | 大數據 |