數據分析師日常工作是什麼?

希望有此行業的人員給與解答,hadoop、spark還有spass、sas分析工具。平時數據分析師在公司主要做什麼工作,想轉行做這個,詳細了解下,先謝謝各位了


先mark

--------------------------------修改兼答題分割線------------------------------

在一個data analyst小組裡工作,正好來答一下。

主要從自己的工作經歷說吧,附帶相關技能樹加點。

(1)寫SQL 腳本:俗稱「跑數據」。leader要一組 季度數據/月數據/周數據 ,寫一段或者N段SQL把數據跑出來。一般是臨時性需求,不過當發現默默地演變成一個常規性需求時,最好直接封裝SP(存儲過程)了……每次跑一下方便省事。這項工作內容需要的技能點有:資料庫,SQL

(2)數據分析項目前中期:這個是耗時很長很麻煩的部分。前期是基礎數據的處理清洗,基礎匯總聚合,然後設計監測指標,指標的設計不僅僅是數學分析,更多需要跑業務需求方那邊了解,畢竟最終目的是要讓別人用,提升效率,不是為了凸顯模型高大上。所有需要的數據都有了之後,開始建立業務模型(數學模型),整個建模的過程也是反覆探索數據的過程,在一定數據量的情況下,初期的建模應用起來一定會這種問題那種問題balabala煩死人……以後邊應用邊調整優化。技能點:資料庫,SQL,excel,R語言,數理統計,數據挖掘,業務知識。

(3)兼職產品經理:業務模型完了後,就有了指標結果。把數據落地到資料庫中。然後接下來需要找開發幫你做可視化站點。作為數據分析師我是最了解這個項目 邏輯流程、核心演算法、業務應用的。找開發幫你做可視化站點:曲線圖啊 柱狀圖啊 餅圖啊 balabala 讓別人一眼就能看到指標的整體狀況。技能點:邏輯思維,流程規劃,數據可視化,一定的開發知識(方便和開發溝通),表達能力力和表情。

(4)模型和指標正式應用起來自後:收集業務部的反饋,不停的跟他們溝通郵件,不停地優化模型,數據表。以及給業務部一些特定需求的分析評估報告(臨時性需求)。技能點:邏輯思維,表達能力

(5)個人學習:有時候會遇到等待別人工作進度的情況,比如別人的上一批數據沒出來,你完全沒法工作。那就上網或者看書 學習知識。數理統計和數據挖掘博大精深,如何能應用得好,產生最高性價比更是一門學問啦。多了解些總是沒壞處的。

(6)大數據部分:涉及到」大數據「已經不是我個人工作內容部分了,而是整組的工作內容。具體需要有專門比較懂hadoop和spark的人負責在上面跑數據,寫最終實現代碼。我們組裡的分工大概就是:數據分析師,數據工程師,(半個產品經理),有人身兼三種,有人只愛專精。技能點:無特定加點法則,團隊加點。

PS:我們沒有數據科學家,這個職位在國內被炒得太奇葩太全能了:既懂線性代數數理統計又懂數據挖掘機器學習,玩得了R和SAS模型,寫的了Java python scala ,當得了SQL型資料庫DBA,又能玩NoSQL hadoop spark,懂業務,懂技術,善溝通,有商業頭腦…………智商低能的我已經編不下去了#_#

希望能對樓主有點幫助。

以上。


謝邀。

我所在公司DA組大體分三類職務:data scientist,data analyst和data engineer。翻譯上最接近的應該是analyst,但就我理解,好像還是有一些偏差的,索性都說說吧。不過也僅限我所在公司,不知是不是業內普遍的做法。

Data Scientist:屬於RD,主要是新模型/演算法的開發。會讀paper,會寫research proposal(只是一部分,也有一部分是下級子公司交上來的),主要績效是internal publication(technical report),external publication(journal/conference papers),transfering(提出的方法在實際操作端被使用的頻率,操作者即為analyst,待會說)。除此外,也會寫R/Python/MATLAB等等的 package。但只是為實現自己提出的方法,不是工作的重心,且用什麼都無所謂,順手就行,不過為了能跟同一個project的同事們協調,基本上面說的那幾個都得會。

Data Engineer:Scientist不做代碼優化,也止步於簡單的程序(R/Python/MATLAB/Eviews/JAVA,公司內部都有在用)。當有些演算法實現很複雜,需要優化和更高級的程序語言如C++時,就變成data engineer的任務了。所以engineer要讀scientist寫出的report還要幫助優化代碼,但這個需求量很小,公司的engineer也很少。

Data Analyst:公司也是用於基於Google,MS(還有別的,忘記了)的服務平台,HIVE,PIG等,Analyst主要是任務就是把scientist和engineer發來的代碼整合到這個系統中去,他們基本不讀technical report,只看其使用說明,知道幹什麼用的就行了。當業務需求使用某些方法的時候,他們就是一線操作者,出最終的分析報告一類的。他們同時管理公司資料庫(其實應該歸Data architect 管,但我們公司把好像把這倆職務合併了)。當scientist要數據,他們要收集清理,當客戶或者子公司要數據,他們也要收集清理。所以從這個角度講,analyst翻譯成分析員就足夠了。

另外還有一種遊離的工種:Data product manager,主要是為某一data product組建和管理團隊,團隊成員按需求可能會有scientist,engineer和analyst。而data product就是之前說的research proposal的產品。Proposal誰都能交,所以理論上上述三個工種的人都有可能成為product manager。

落回題目,我覺得當公司分工不明確,DA組很小的時候,分析師應該是以上三個工種的雜合,具體應該是少部分的RD,部分代碼優化和分析員的全部工作。

就先這麼多吧,想起來再更。


提數,提數,提數。

報告,報告,報告。

SQL,SQL,SQL。

重要的事情說三遍。


  • 數據埋點需求:有需要埋點的新產品出現了,看一下產品prd,和PD等了解一下產品和他們的數據需求,寫數據埋點文檔,寫完後,與開發溝通一下。在發布前和測試檢查各埋點是否正確。

  • 數據倉庫建設:根據不同的業務規劃數據倉庫的各個層級,主要是設計表和欄位,數據開發後還需要檢查一下邏輯是否正確。
  • 臨時需求:這個就不說了。如果是經常性的會將需求固化下來,這時候又要規劃一把。
  • 常規報告:日報、周報、月報。
  • 專題分析報告:針對某一個專題進行全面分析,出具報告。
  • 日常雜事:計算口徑或其他數據問題答疑,數據有問題的時候找問題修復。
  • 數據產品:利用公共工具做的數據產品,還有團隊內部做的web應用,團隊內部的產品需要自己開發。
  • 模型研究:有空的時候會研究一下模型,研究好了就需要在數倉中準備好數據,根據演算法出結果,最終產品化。


寫SQL(HQL),跑數據

----------------------------------------

一個公司裡面,分析師的配置其實是偏少的,每個業務方對業務有各種疑惑,會有多角度看數據的需求出來,分析師常常比較被動,疲於奔命,只能是你要啥數據,我就給你啥數據(只有苦勞,沒有功勞)。

很多分析師擅長的是數據處理,對業務敏感性也比較弱,而且對公司裡面核心產品使用的程度也比較淺,甚至不喜歡公司的產品。也很難從數據上對公司的產品提出有針對性的建議,或者通過數據反映產品存在的缺陷(很多時候,分析師做的是惡人,高層們希望數據發現問題,敦促業務方改進,這也讓分析師很難做人,畢竟是和核心業務方PK,且是在對方擅長的領域)

當然也有人搞模型,但模型是給誰使用的(業務方還是高層),是不是經常維護,能適應環境的變化,價值有多大,我想這也需要業務方和數據方權衡的問題,畢竟牽涉到挖掘模型,複雜一點的,響應速度要慢很多,如果是互聯網公司一般等不起。

其實上面這些都不是問題,解決問題的關鍵也是在分析師身上,畢竟你是干這個工作的。


渠道數據分析

1.寫SQL,提取數據,也就是數據支持,就是老闆想看啥數,就給啥數唄。

2.數據異常分析,如果一個訂單數據環比上升了80%(平時都是10%、20%),那就得看,這個數據是如何上升的:

1.是持續上升還是突然某一兩天上升

2.是所有渠道上升還是某一兩個渠道上升

3.根據前2個回答,再查為什麼會上升,是刷單?還是其他?

3.每天/周/月定時出報表,並作分析

這周訂單漲了,是正常上漲還是異常,如果是異常的話,就是上面說的異常數據分析了:什麼時候開始漲,漲在哪個渠道,為什麼會漲,是投放人員操作所為,還是其他一些原因?

4.專題分析

比如某個渠道的質量評估

1.數量分析,這個渠道帶來的激活、註冊、訂單是多少。

2.質量分析,這個渠道的轉化(激活-訂單)是多少,激活成本、註冊成本、訂單成本是多少,轉化周期是多久?

3.對比分析:時間對比:這個渠道在淡季、旺季的表現分別是怎樣。渠道對比:這個渠道和其他渠道對比,表現怎樣

以上,是作為剛入職數據分析幾個月的我一點淺薄的經驗。


下圖是互聯網營銷數據分析師每天的工作時間構成:

圖片來源於:專註學習互聯網營銷知識


需要很好的數學


推薦閱讀:

優秀的數據分析能力體現在哪些方面?
想當一名數據分析師,進哪些公司工作會對自己有很大的幫助?
想做數據分析師都要學什麼?
數據分析方法論、流程和框架?
APP數據分析中,需對哪些關鍵指標進行挖掘?

TAG:數據 | 數據分析能力 | 數據分析工具 | 數據分析師 |