一份關於數據科學家應該具備的技能清單
來自專欄我是程序員
摘要:一份關於數據科學職業應該具備的技能清單,包含技術技能與非技術技能,相關的讀者可以按照該清單逐步完善自己,文末有學習資源鏈接哦!
大數據時代,什麼職業比較吃香?答案可以從今年的校招薪資列表上知道——演算法工程師、人工智慧研究員、數據分析等職位。其實這幾個職位有一定的交集,那就是需要處理大量的數據,尤其是作為一名數據科學家,主要的工作在處理數據和分析數據上面,也有部分工作與演算法工程師和人工智慧研究員相重疊,其所佔的優勢在於對數據更加敏感。那麼作為一名數據科學家,應該具備的技能有哪些呢?本文將一窺究竟。
1.學歷
數據科學家一般都具有高學歷——88%的數據科學家至少是碩士學位,46%的數據科學家是博士學位,這表明想要成為一名數據科學家需要非常好的教育背景(知識了解深入)。常見的專業是計算機科學、社會科學、物理科學和統計學。最常見的研究領域是數學和統計(32%),其次是計算機科學(19%)和工程應用(16%)。在攻讀上述學位中學習到的專業知識都將為您提供處理和分析大數據所需的技能。
在取得學位後就可以高枕無憂了嗎?答案是否定的,現在是終生學習的時代。事實上,大多數數據科學家在擁有碩士學位或博士學位後,還不斷通過在線訓練以學習如何使用Hadoop或大數據查詢等特殊技能。2.R編程語言
對於數據科學家而言,R語言通常是首選編程語言。R語言是專門為數據科學需求而設計的,可以使用R語言來解決在數據科學中遇到的任何問題。事實上,43%的數據科學家正在使用R語言來解決統計問題。
但是學習R語言時有一個障礙,那就是如果你已經掌握了一門其它編程語言,那學起來是很痛苦的。儘管如此,互聯網上有很多R語言學習資源,例如Simplilearn的數據科學訓練和R編程語言。
技術類技能:計算機科學
3.Python編程
Python語言近來很火,隨著人工智慧以及深度學習的發展,Python已經超越Java語言成為編程中最常用的語言。Python也是在數據科學中常見的編碼語言,據調查,40%的受訪者使用Python作為其主要編程語言。
由於Python的多功能性,可以將其用於所有涉及數據科學過程的步驟。比如,Python可以採用各種格式的數據,並且可以輕鬆地將SQL表導入到代碼中。此外,還允許創建數據集。4.Hadoop平台
CrowdFlower對3490 名領英上註冊的數據科學家進行了一次調查,發現49%的數據科學家將Apache Hadoop列為第二項重要技能。
作為一名數據科學家,可能會遇到擁有的數據量超出了系統的內存,或者需要將數據發送到不同的伺服器的問題,這些問題都可以通過Hadoop解決——使用Hadoop對數據進行分散式處理。此外,還可以使用Hadoop進行數據挖掘、數據過濾、數據採樣和匯總。5.SQL資料庫/編程
儘管NoSQL和Hadoop已經成為數據科學的一個重要組成部分,但有些人仍然可以在SQL中編寫和執行複雜的查詢。SQL(結構化查詢語言)是一種編程語言,可以執行諸如添加、刪除和從資料庫提取數據等操作,還可以執行分析功能並轉換資料庫結構。
作為一名數據科學家,需要精通SQL。這是因為SQL專門設計用於訪問、通信和處理數據。當使用它來查詢資料庫時,它會提供見解。此外,由於其簡潔的命令,可以節省時間並減少執行困難查詢時所需的編程量。6.Apache Spark
Apache Spark正成為全球最受歡迎的大數據技術。它類似於Hadoop,是一個大數據計算框架。唯一的區別是Spark比Hadoop更快。這是因為Hadoop需要讀取和寫入磁碟,而Spark將其計算緩存在內存中,這類似於機械硬碟與SSD的區別。
Apache Spark專為數據科學而設計,能更快地運行複雜的演算法。當處理大量數據時,它有助於傳播數據處理,從而節省時間。此外,還能處理複雜的非結構化數據集。Apache Spark的優勢在於其速度,利用該平台使得開展數據科學項目變得非常容易。藉助Apache Spark,可以執行從數據採集到分散式計算的分析。
7.機器學習和人工智慧
許多數據科學家並沒有精通機器學習領域相關知識和技術,比如神經網路、強化學習、對抗學習等。如果想從數據科學家中脫穎而出的話,需要了解機器學習技術,如監督學習、決策樹、邏輯回歸等,這些技術將幫助你解決基於已有的數據和結果來預測不同數據科學問題。
數據科學需要在機器學習的不同領域應用技能,Kaggle在其調查中發現,一小部分數據專業人員掌握了高級機器學習技能,如監督學習、無監督學習、時間序列、自然語言處理、異常檢測、計算機視覺、推薦引擎、生存分析、強化學習和對抗學習等。8.數據可視化
大數據時代,數據很多很亂,有些原始數據需要翻譯成易於理解的格式。人們自然而然地以圖表的形式展示數據所要表達的意思,「一張圖片勝過千言萬語」。
作為一名數據科學家,必須能夠藉助數據可視化工具(如ggplot、d3.js和Matplottlib以及Tableau)來可視化數據,這些工具能將項目的複雜結果轉換為易於理解的格式。 數據可視化為組織提供了直接處理數據的機會,可以迅速掌握見解,幫助他們抓住新的商業機會並保持領先地位。9.非結構化數據
數據科學家能夠處理非結構化數據至關重要,非結構化數據是不適合定義為資料庫的形式,比如視頻、博客文章、客戶評論、社交媒體文章、視頻文件、音頻等,對這些類型的數據進行排序很困難。
由於非結構化數據的複雜性,大多數人將非結構化數據稱為「黑暗分析(dark analytics)」。使用非結構化數據有助於揭示對決策制定有用的見解。作為數據科學家,必須有能力理解和操縱非結構化數據。非技術類技能
10.好奇心
我沒有特殊的才能,我只是充滿了好奇心——愛因斯坦。
好奇心可以被定義為渴望獲得更多的知識,作為一名數據科學家,需要能夠提出有關數據的問題,因為數據科學家將大約80%的時間用於發現和準備數據。由於數據科學領域是一個發展非常迅速的領域,必須學習更多知識以保持不落伍。
通過在線閱讀內容並閱讀關於數據科學趨勢的相關書籍來定期更新知識,不要被互聯網上的大量數據所淹沒,必須能夠知道如何理解這一切。好奇心是作為數據科學家取得成功所需的技能之一。例如,第一次看到收集到的數據時,不知道這些數據有什麼意義。但好奇心將幫助你篩選數據以找到答案和更多見解。這就像兩個人相親一樣,只有當你對另一方感到好奇時,才會深入的了解下去。11.商業頭腦
要成為一名數據科學家,需要對所從事的行業有深入的了解,並了解公司正在努力解決的業務問題。在數據科學方面,除了找出業務應該利用其數據的新方式之外,能夠辨別哪些問題對於解決業務問題至關重要。
為了做到這一點,必須了解要解決的問題會如何影響業務,這就是為什麼需要了解企業的運作方式,以便能夠朝正確的方向努力。12.溝通能力
一些公司正在尋找具有很好溝通能力的數據科學家,他們能夠清晰流利地將技術發現傳遞給非技術團隊的人員,比如市場營銷部門或銷售部門。數據科學家除了理解非技術同事的需求以便適當地調整數據外,還必須做出相關的決定。
除了說同一種語言外,還需要使用數據以講故事的方式交流。作為一名數據科學家,必須知道如何創建一個圍繞數據的故事情節,以方便任何人都能理解。例如,呈現數據表格不如以故事形式分享這些數據的見解。講故事可以幫助你將你的發現與僱主正確溝通。 溝通時,請注意分析數據的結果,大多數企業主並不想知道你分析的具體內容,而是對如何積極影響其業務感興趣。學會專註於提供價值並通過溝通建立持久的關係。13.團隊合作
數據科學家不可能單打獨鬥,而是不得不與公司高管合作制定策略、與產品經理和設計師合作創造更好的產品、與營銷人員一起推出更好的轉換活動、與客戶端和伺服器軟體開發人員共同創建數據管道並改善工作流程。數據科學家必須與組織中的每個人一起工作,包括客戶。
從本質上講,數據科學家將與團隊成員合作開發用例,以了解解決問題所需的業務目標和數據。需要知道解決用例的正確方法、解決問題所需的數據以及如何將結果呈現為所涉及的每個人都可以輕鬆理解的內容。資源
- 1.Advance Degree:更多的數據科學計劃正在湧現,以滿足當前的需求,大多數是數學、統計學和計算機科學課程;
- 2.MOOCs:Coursera、Udacity和codeacademy等公開課網站是不錯的起點;
- 3.Certifications:KDnuggets編製的一份清單列表;
- 4.Bootcamps:有關如何將這種方法與學位課程或MOOC進行比較的更多信息,請查看Datascope Analytics的數據科學家的博客;
- 5.Kaggle:Kaggle是舉辦數據科學競賽的平台,可以在上面練手提升自己的技能,並解決實際的業務問題;
- 6.LinkedIn群組:加入相關群組,並與數據科學社區的其他成員進行交流;
- 7.Data Science Central和KDnuggets:Data Science Central和KDnuggets是保持數據科學行業趨勢最前沿的優秀資源;
- 8.Burtch工作研究(數據科學家的薪水):如果想了解更多有關當前數據科學家的薪水和人口統計信息,請務必下載數據科學家薪水調查。
數十款阿里雲產品限時折扣中,趕緊點擊領劵開始雲上實踐吧!
以上為譯文,由阿里云云棲社區組織翻譯。
譯文鏈接
文章原標題《9 Must-have skills you need to become a Data Scientist, updated》譯者:海棠,審校:Uncle_LLD。
文章為簡譯,更為詳細的內容,請查看原文。更多技術乾貨敬請關注云棲社區知乎機構號:阿里云云棲社區 - 知乎
本文為雲棲社區原創內容,未經允許不得轉載。
推薦閱讀:
※[貝葉斯八]之極大似然估計
※平移不變的正則線性回歸
※2.6 隨機變數的變換
※Classification and logistic regression
※【用Sklearn進行機器學習】第四篇 - 深入監督學習:隨機森林