在互聯網公司大數據工程師每天工作的感覺是怎樣的？

01-04

這樣一個高端上檔次的職位，和程序員相比，大數工程師們每天工作環境內容是什呢？？（好像可愛的程序員們性格普遍不活潑了些，那麼大數據工程師吶？）請大家積極回答呀～～～小弟謝謝啦

羨慕匿名用戶，我們組男女比例曾經是40比0，後來好了些，現在大約10比1的比例…

工作上大數據其實分兩部分，一是架構，一是策略。

架構就是跟底層分散式計算系統打交道，讓策略的同學不必關心分散式細節;策略的同學就是研究怎麼由數據算出一些想要的結果。

我是做架構的，而且是架構的底層，一般我的用戶是各個部門的架構組，他們在我們系統上包裝一下給自己的策略組用…

環境的話感覺程序員都一樣…而且我們這種極其偏底層的部門男女比例實在誇張，當然，題主是女生的話，這倒是個優勢…

就是天天寫code

遊戲公司大數據工程師一枚。雖然不確定遊戲公司跟那些通常意義上的互聯網公司還有區別，但是作為稀有物種，在遊戲公司做大數據工程師本身就是一件有意思的事情LOL。

談談現實情況吧。公司目前看嚴格意義上的大數據工程師職位真的很少，這跟遊戲行業本身有一定關係。你也許能很容易地找到大數據和數據挖掘在其他行業的應用案例比如電商、金融等，但是你幾乎找不到它們在遊戲行業的顯著應用（可能騰訊這種巨頭內部會有成熟的應用場景）。本人也曾思考過在比如遊戲中購買道具或出裝備或者匹配玩家等場景做推薦系統，但這本身也是往電商或者社交領域去靠；也學習了一些專註於遊戲數據挖掘的公司（如thinkinggame）的應用場景，希望可以做比如玩家流失預測的分析類挖掘，但是路途還很遙遠，尤其在大數據平台還沒有完全成形的情況下。

扯遠了，再談談感受吧。總的來說，任重而道遠，但是樂在其中。正因為沒有一些條條框框約束我應該怎麼去開展我的工作，我更能夠坐下來好好思考，從技術選型到理論研究再到業務場景，都有我發揮的餘地。代碼可以寫得飛起，架構也可以看得入迷，演算法思想也說得一二，還能跟產品和數據分析的同時討論業務問題，個人還是比較享受這種節奏的。雖然有人說你什麼都懂一點，也就什麼都不精通了。然而並不是，一旦討論決定了應用哪種技術，我就馬上投入百分之百的精力去研究透它，不只是使用層面的，有時更要去分析其源碼，再根據實際需求進行改造，或者進行插件化開發，將開源技術轉變為適合公司使用的專有數據產品。從這一點上講，大數據工程師又起到了架構師的作用，能夠將各種開源技術靈活運用組合甚至改造來發揮更大的價值，這個過程中當然需要對技術的精通了。

所以我覺得大數據工程師需要對各種技術和業務的充分理解才能做好，畢竟數據要從業務中來，通過技術的工程實現等手段產生價值，再反饋到業務中去，這樣一個迴路才是大數據工程師的工作職責所在，不論在互聯網公司還是在轉型中的傳統企業都是一樣的，最終目的都是給公司創造價值。所以我覺得對技術和業務的理解以及對學習的熱情是大數據工程師所應該具備的基本素質。

瀉藥……我是大數據組的平台工程師

為了不讓老闆和家裡領導看到匿了。

坐我對面的妹子是我見過真人的妹子里最好看的，雖然冷家是設計不是碼農。這大概是最大福利之一？其他和別的工程師沒啥區別？

大數據工程師什麼的，過幾年會變成很普通的職位吧，好像 dba什麼的，雖然現在聽起來還很稀有。我們乾的事情其實很雜，作為平台工程師，讀讀hadoop代碼打補丁，根據實際需求做制定開發，在外圍架設輔助平台，例如元數據管理，平台監控什麼的。隔三差五也要響應小鮮肉用戶們的諮詢。當然時不時需要跟進社區的發展，看看某個領域是否有新鮮出爐的工具或者平台，是否需要調研可不可以推廣。隔壁組的兄弟們也是大數據工程師，不過是演算法組的，他們每天研究的是如何識別性冷淡並推送母雞廣告。也有搜索組的童鞋，搗鼓的是solr還是elasticsearch之類的，為產品提供個性化搜索。大型互聯網企業環境下很多工種都和大數據技術掛鉤，完全和它無關的越來越少了，我們無非算是離得最近的崗位。

首先，在任何行業，工作的感覺取決於你的付出和回報之間的平衡度。

互聯網公司的大數據工程師，在談工作感覺之前，先談談這種人是幹什麼的。主要有兩種職位，A: 純data engineering, B:data scientist。

A類工作有點象傳統的軟體開發工程師，有明確的需求需要你實現出來，只不過業務需求是和數據相關的，數據採集（instrumentation, emitting), 數據遷移（data pipeline), 數據加工（aggregation, applying simple model, etc), 數據報告（reporting).

B類工作要高級一些，工作目標可能是從一個商業問題(business problem) 出發，要求你提出大數據解決方案並且實現它，證明它對公司的價值。這裡就牽扯到一個data scientist核心的競爭力: 把一個商業問題轉化為一個數據分析，甚至機器學習的問題，或者叫 problem formulation。這個不是一日之功，需要行業積累（domain knowledge) 和對data analytics, statistics, 和 machine learning的深刻理解才能做好。

現在可以談感覺了。

A類職位就不細談了。和碼工區別不大。

B類職位，當你真正理解了business problem，並且用大數據的方法找出解決方案，並且其他人用其他方法解決不了，那你就很牛了。感覺自然會好。

當然，有時候你整出個方案，甚至系統，公司別的部門不理解，不會用，或者效果不好，那你會很鬱悶。當然了，肯定是某個環節出了問題，需要你思考，交流，改進。

簡單回答就這些了。