數據科學家、數據工程師和軟體工程師之間的區別

數據科學家、數據工程師和軟體工程師之間的差異有時會有點混亂。因此，雲途君邀請Stitch formerly RJ Metrics CEO ，Jake Stein根據 LinkedIn 公布的數據，明確指出這些崗位之間的區別。

隨著數據的增長，需要專業的人才來管理它。在過去的幾年裡，負責數據管理的各崗位間的差別愈益明顯：軟體工程師、數據工程師和數據科學家。

我們看到在軟體工程學科中，有越來越多的人從事數據工程師的崗位，不過這還是一個新的趨勢。依然有大量軟體工程師從事移動數據管理。

在過去的一年裡，根據LinkedIn公布的數據，Stein團隊發布了兩份報告，一份是關於對數據科學家的理解，另一份是關於數據工程師的。在本文中，我們將指出這些崗位之間的區別，首先，我們先看張圖，這張圖顯示了他們之間所需技能的區別：

軟體工程師

軟體工程師主要構建應用程序和系統，開發人員參與整個過程，包括：產品設計、代碼編寫、測試和評估。他們創建產品的同時已經產生數據。在這些崗位中，軟體工程師是最早出現的，經過多年的發展，已經有比較完善的工具和方法。

工作內容：

• 前、後端開發

• 網路應用程序開發

• 移動應用程序開發

• 操作系統開發

• 軟體設計

數據工程師

數據工程師構建的系統可以對軟體工程師構建的各種應用程序和系統進行整合、存儲和數據檢索。數據工程已經成為軟體工程中的一個技術標配。40%的數據工程師是從軟體工程師轉行過來的，目前來說，這是成為數據工程師最常見的發展路徑

工作內容：

• 高級數據結構

• 分散式計算

• 並發編程

• 新工具的使用：Hadoop, Spark, Kafka, Hive等

• 構建數據倉庫/數據管道

數據科學家

數據科學家主要是基於數據而進行的分析工作。比如，一個團隊想通過分析來更好的了解用戶行為或者是機器的學習演算法，然後軟體工程師和數據工程師通過編程將其實現。

工作內容：

• 數據建模

• 機器學習

• 演算法

• 商業智能儀錶盤

• 發展數據團隊

這些崗位仍然在不斷發展。利用新的工具（例如：Stitch），數據倉庫從建立到進入市場的整個過程越來越簡單，也使得開發人員更加容易建立和維護數據管道。大公司都是將數據工程師從軟體工程團隊中分離出來，而不是將基礎搭建和分析都放在一起形成一個集中的團隊。但是在某些場景中，數據科學家負責數據整合和數據分析。

因此，軟體工程師、數據工程師和數據科學院都不是獨立存在的，我們希望能加快發展的腳步，畢竟數據變得越來越龐大。

歡迎關注"雲途數據"微信公眾號（ID:yuntudata）,每日分享大數據乾貨