數據分析從入門到大師!
大家好,很榮幸今天有機會能和大家介紹下數據分析這塊的知識,我本人作為數據這塊的從業者已經做了很多年,可以和大家分享分享數據分析到底是什麼,數據分析到底做什麼,以及為什麼企業需要數據分析,數據分析人才到底是什麼樣。作為數據分析新人,我們需要學習哪些東西。
那麼我當年,在進入數據分析這塊行業的時候也是和很多剛進入這塊的同學一樣,一樣的迷茫,一樣的不知道該學習什麼,一樣的不知道為什麼需要有什麼樣的職業規劃。剛開始選擇了在國內的一家一線品牌的電商公司,具體工作是做網站分析師。
所謂的網站分析師,就是要對電商網站的各種常規指標進行監控,需要對異常的數據能夠解釋清楚現象和原因,到底是因為什麼導致流量的波動、還是因為網站埋點出現了問題。以及像網站推廣的不同渠道的優劣情況,訪問、點擊、ROI等進行分析,而像如果公司需要做一些大型的活動時,還需要能夠對不同專題活動的效果進行分析,能夠知道哪些內容是用戶感興趣點擊的。
當時也沒有人聽說什麼是大數據,而像數據分析,數據挖掘還都停留在亞馬遜神奇的推薦演算法和60萬招一個演算法工程師的故事上。而當時我們數據這塊行業,大部分人戲稱的BI,好聽點叫商業智能,都是在做關於數據倉庫的底層搭建和OLAP、OLTP這樣的報表上。
也正是因為從最底層的數據開始做起,才讓我明白了整個數據的全貌或者說數據整個生態鏈都有哪些。可能有同學會說,我是學統計的,對太技術類的不感興趣。其實不然,就像我們去讀歷史一樣,作為數據分析師本身就需要有那種追本溯源的精神,當你了解到數據都是怎麼產生和存儲的之後,你就會知道為什麼我的數據量會這麼少,為什麼數據處理環節出現了異常,為什麼公司沒有把所有的數據都存儲起來。
好了,我們就聊聊今天的話題,數據分析師該怎麼入門,從一個初級的數據分析師變身為數據分析專家、數據分析大師。
我們先來看一下某著名互聯網公司,對不同級別的數據分析師的要求是什麼樣。
圖(一)數據分析師的不同級別要求
這圖一可以看出,在成長為數據分析專家之前,更多的是需要能夠在問題識別、分析規劃、數據獲取、展現演示、價值應用、執行和管理能力、以及影響力上有不同層次的要求。
作為一個剛入門的數據分析師,需要能夠把在數據分析的基礎技能上夯實。掌握基本的數據分析知識(比如統計,概率,數據挖掘基礎理論,運籌學等),掌握基本的數據分析軟體(比如,VBA,Matlab,Spss,Sql等等),掌握基本的商業經濟常識(比如宏微觀經濟學,營銷理論,投資基礎知識,戰略與風險管理等等)。這些基礎知識,在學校里盡量的學習,而且我來到了一些商學院,這樣我可以在商業分析、經濟分析上面領悟到一些東西,增強我的數據分析能力。
在這裡,我給大家推薦幾本書,《統計學》《圖表之道》《誰說菜鳥不會數據分析》。另外課後我會把之前整理過的知識點發給大家。
而對於已經在數據分析崗摸爬滾打1年多後,怎麼該去晉級,在數據分析這塊領域做的更加深入,我們稱之為合格的數據分析師。
這時候就不只是掌握基本的統計知識或工具應用,需要能夠獨立完成一項完整的數據分析工作,能夠通過數據準確定位業務上的問題,能夠獨立完成一份完整的數據分析報告,能夠嘗試將自己的分析結果講給被人聽,被別人接受和採納。
而怎麼才能做到這幾點呢?
1.學習怎麼寫報告;
首先,要有一個好的框架,跟蓋房子一樣,好的分析肯定是有基礎有層次,有基礎堅實,並且層次明了才能讓閱讀者一目了然,架構清晰、主次分明才能讓別人容易讀懂,這樣才讓人有讀下去的慾望;
第二,每個分析都有結論,而且結論一定要明確,如果沒有明確的結論那分析就不叫分析了,也失去了他本身的意義,因為你本來就是要去尋找或者印證一個結論才會去做分析的,所以千萬不要忘本舍果;
第三,分析結論不要太多要精,如果可以的話一個分析一個最重要的結論就好了,很多時候分析就是發現問題,如果一個一個分析能發現一個重大問題,就達到目的了,不要事事求多,寧要仙桃一口,不要爛杏一筐,精簡的結論也容易讓閱者接受,減少重要閱者(通常是事務繁多的領導,沒有太多時間看那麼多)的閱讀心理門 檻,如果別人看到問題太多,結論太繁,不讀下去,一百個結論也等於0;
第四、分析結論一定要基於緊密嚴禁的數據分析推導過程,不要有猜測性的結論,太主觀的東西會沒有說服力,如果一個結論連你自己都沒有肯定的把握就不要拿出來誤導別人了;
第五,好的分析要有很強的可讀性,這裡是指易讀度,每個人都有自己的閱讀習慣和思維方式,寫東西你總會按照自己的思維邏輯來寫,你自己覺得很明白,那是因為整個分析過程是你做的,別人不一定如此了解,要知道閱者往往只會花10分鐘以內的時間來閱讀,所以要考慮你的分析閱讀者是誰?他們最關心什麼?你必須站在讀者的角度去寫分析郵件;
第六,數據分析報告盡量圖表化,這其實是第四點的補充,用圖表代替大量堆砌的數字會有助於人們更形象更直觀地看清楚問題和結論,當然,圖表也不要太多,過多的圖表一樣會讓人無所適從;
第七、好的分析報告一定要有邏輯性,通常要遵照:1、發現問題 2、總結問題原因 3、解決問題,這樣一個流程,邏輯性強的分析報告也容易讓人接受;
第八、好的分析一定是出自於了解產品的基礎上的,做數據分析的產品經理本身一定要非常了解你所分析的產品的,如果你連分析的對象基本特性都不了解,分析出來的結論肯定是空中樓閣了,無根之木如何叫人信服?!
第九、好的分析一定要基於可靠的數據源,其實很多時候收集數據會佔據更多的時間,包括規劃定義數據、協調數據上報、讓開發人員 提取正確的數據或者建立良好的數據體系平台,最後才在收集的正確數據基礎上做分析,既然一切都是為了找到正確的結論,那麼就要保證收集到的數據的正確性,否則一切都將變成為了誤導別人的努力;
第十、好的分析報告一定要有解決方案和建議方案,你既然很努力地去了解了產品並在了解的基礎上做了深入的分析,那麼這個過程就決定了你可能比別人都更清楚第發現了問題及問題產生的原因,那麼在這個基礎之上基於你的知識和了解,做出的建議和結論想必也會更有意義,而且你的老闆也肯定不希望你只是個會發現問題 的人,請你的那份工資更多的是為了讓你解決問題的;
十一、不要害怕或迴避「不良結論」,分析就是為了發現問題,並為解決問題提供決策依據的,發現產品問題也是你的價值所在,相信你的老闆請你來,不是光讓你來唱讚歌的,他要的也不是一個粉飾太平的工具,發現產品問題,在產品缺陷和問題造成重大失誤前解決它就是你的分析的價值所在了;
十二、不要創造太多難懂的名詞,如果你的老闆在看你的分析花10分鐘要叫你三次過去來解釋名詞,那麼你寫出來的價值又在哪裡呢,還不如你直接過去說算了,當然如果無可避免地要寫一些名詞,最好要有讓人易懂的「名詞解釋」;
十三、最後,要感謝那些為你的這份分析報告付出努力做出貢獻的人,包括那些為你上報或提取數據的人,那些為產品作出支 持和幫助的人(如果分析的是你自己負責的產品),肯定和尊重夥伴們的工作才會贏得更多的支持和幫助,而且我想你也不是只做一鎚子買賣,懂得感謝和分享成果的人才能成為一個有素養和受人尊敬的產品經理。
2.學習怎麼以業務的眼光看待問題;
第一層:知其然
我們可以通過建立數據監控體系,掌握髮生了什麼、程度如何,做到「知其然」。
具體來說,切入數據的角度主要有這幾個方面。首先是「觀天」,觀察行業整體趨勢、政策環境影響;再是「知地」,了解競爭對手的表現;最後是「自省」,自身做得怎麼樣了,自己的數據表現怎麼樣。從看數據的周期上來講,「觀天」可以是季度性或者更長的周期;「知地」按周或者月,特殊時間點、特殊事件情況下除外;「自省」類的數據拿到的是最全面的,需要天天看,專門有人看,有人研究。
在這一層上,分享兩個看數據的觀點:
1.數據是散的,看數據需要有框架。
怎麼看數據很有講究。零碎的數據很難發揮出真正的價值,把數據放到一個有效的框架里,才能發揮整體價值。所謂有效的框架至少包含兩重作用:
(1)數據很多,不同人對數據需求不一樣,如CEO、中層管理者、底層員工關注的數據通常是不一樣的,有效的框架能夠讓不同的人各取所需。
(2)有效的框架能夠快速地定位問題所在。舉個例子,交易量指標大家都關心,如果某一天交易量指標掉了20%,那麼,業務很大可能下是出了問題,但問題到底出在哪兒呢?如果只有幾個高度抽象的指標,如轉化率、成交人數、客單價等,是定位不到問題的。好的框架能夠支持我們往下鑽,從品類、流量渠道等找到問題所在,板子也就能打到具體的負責人身上了。這也是我們通常所說的,看數據要落地。
2.數據,有比較才有真相。
我有120斤,你說是重還是輕呢?一個孤零零的數據是很難說明問題的。判斷某個指標增長快慢,需要選擇正確的比較對象、參考系,也就是基準線。這個基準線可以是一個預先設定的目標,可以是同行業平均水平,也可以是歷史的同期數據。
第二層:知其所以然
通過數據看到了問題,走到這一步還不夠。數據只是表象,是用來發現、描述問題的,實操中解決問題更重要。數據結合業務,找到數據表象背後的真正原因,解決之。解決問題的過程就會涉及數據、數據加工,還可能會涉及數據模型之類的方法或者是工具,這裡面技術含量比較高,另作篇幅介紹,這裡不展開了。
在第二層里也有兩點分享:
1.數據是客觀的,但對數據的解讀則可能帶有很強的主觀意識。
數據本身是客觀的,但消費數據的是有主觀能動性的人。大家往往在解讀數據的時候帶入主觀因素:同樣一個數據在A看來結論可能是好的,從B看來可能卻得出截然相反的結果。不是說出現這樣的情況不好,真理越辯越明。但假如不是通過數據找問題,而是先對問題定性,然後有選擇地利用數據證明自己的觀點,這種做法就不可取了。可事實上,我們的身邊經常發生這樣的事情。
2.懂業務才能真正懂數據。
車品覺老師的博文《不懂商業就別談數據》對這個觀點作了深刻闡述,這裡不展開講了。只是由於本觀點的重要性,筆者特意拿出來做一下強調。
第三層:發現機會
利用數據可以幫助業務發現機會。舉個例子:淘寶上有中老年服裝細分市場,有大碼女裝市場,這些市場可以通過對周邊環境的感知,了解到我們身邊有一些中老年人或者胖MM在淘寶上面沒有得到需求的滿足。那麼還有沒有其他的渠道找到更多的細分市場呢?
數據可以!
通過用戶搜索的關鍵詞與實際成交的數據比較,發現有很多需求並沒有被很好地滿足,反映出需求旺盛,但供給不足。假如發現了這樣的細分市場,公布出來給行業小二,公布出來給賣家,是不是可以幫助大家更好地去服務消費者呢?這個例子就是現在我們在做的「潛力細分市場發現」項目。
講這個案例,不是想吹牛數據有多厲害,而是想告訴大家:數據就在那裡,有些人熟視無睹,但有些人卻可以從中挖出「寶貝」來。差異是什麼呢?商業感覺。剛剛提到的搜索數據、成交數據很多人都能夠看到,但以前沒有人把這兩份數據聯繫在一起看,這背後體現出的就是商業感覺。
第四層:建立數據化運營體系
我理解的數據化運營,包含了兩重意思:數據作為間接生產力和直接生產力。
1.數據作為間接生產力。
所謂間接生產力,是指數據工作者將數據價值通過運營傳遞給消費者,即通常所說的決策支持,數據工作者產出報表、分析報告等供各級業務決策者參考。我稱之為決策支持1.0模式。然而隨著業務開拓和業務人員對數據重要性理解的增強,對數據的需求會如雨後春筍般冒出來,顯然單單依賴人數不多的分析師是滿足不了的。授人以魚不如授人以漁,讓運營、產品的同學都能夠進行數據分析,是我腦子中的決策支持2.0模式。
決策支持2.0模式有三個關鍵詞:產品、能力、意願。
讓運營和PD掌握SQL這類取數語言,掌握SAS、SPSS這類分析工作,顯得不大現實和必要。提供低門檻、用戶體驗良好的數據產品是實現決策支持2.0模式的基礎。這裡講的產品,不僅僅是操作功能集,還需要承載分析思路和實際案例。
但是,數據分析的門檻始終是存在的。這就對運營和PD提出了新的基本能力要求,即基礎的數學能力、邏輯思考能力和學習能力。
最後一個意願,也許是最關鍵的,只有內心有強烈的驅動,想做好這件事情的時候,才有可能做好。
2.數據作為直接生產力。
所謂直接生產力,是指數據工作者將數據價值直接通過前台產品作用於消費者。時髦點講,叫數據變現。隨著大數據時代的到來,公司管理層越來越重視這一點。大數據時代帶來了大的機會,但也可能是大災難。如果不能利用數據產生價值,那麼,它就是一個災難——產生的數據越多,存儲的空間、浪費的資源就越多。
現在比較好理解的一個應用就是關聯推薦, 你買了一個商品之後,給你推薦一個最有可能再買的商品。個性化是數據作為直接生產力的新浪潮,這個浪潮已經越來越近。數據工作者們,做好迎接的準備吧。
3.怎麼在數據分析技能上加強;
基本技術怎麼強調都不過分。這裡的術更多是(計算機、統計知識),多年做數據分析、數據挖掘的經歷來看、以及業界朋友的交流來看,這點大家深有感觸的。
資料庫查詢—SQL
數據分析師在計算機的層面的技能要求較低,主要是會SQL,因為這裡解決一個數據提取的問題。有機會可以去逛逛一些專業的數據論壇,學習一些SQL技巧、新的函數,對你工作效率的提高是很有幫助的。統計知識與數據挖掘你要掌握基礎的、成熟的數據建模方法、數據挖掘方法。例如:多元統計:回歸分析、因子分析、離散等,數據挖掘中的:決策樹、聚類、關聯規則、神經網路等。但是還是應該關注一些博客、論壇中大家對於最新方法的介紹,或者是對老方法的新運用,不斷更新自己知識,才能跟上時代,也許你工作中根本不會用到,但是未來呢?行業知識如果數據不結合具體的行業、業務知識,數據就是一堆數字,不代表任何東西。是冷冰冰,是不會產生任何價值的,數據驅動營銷、提高科學決策一切都是空的。一名數據分析師,一定要對所在行業知識、業務知識有深入的了解。例如:看到某個數據,你首先必須要知道,這個數據的統計口徑是什麼?是如何取出來的?這個數據在這個行業,在相應的業務是在哪個環節是產生的?數值的代表業務發生了什麼(背景是什麼)?對於A部門來說,本月新會員有10萬,10萬好還是不好呢?當你掌握好前面的基本知識和一些技巧性東西的時候,你應該在業務、行業、商業知識的學習與積累上了。
這個放在最後,不是不重要,而且非常重要,如果前面三點是決定你能否進入這個行業,那麼這則是你進入這個行業後,能否成功的最根本的因素。數據與具體行業知識的關係,比作池塘中魚與水的關係一點都不過分,數據(魚)離開了行業、業務背景(水)是死的,是不可能是「活」。而沒有「魚」的水,更像是「死」水,你去根本不知道看什麼(方向在哪)。
建議大家第一份工作,預計3-5年。選擇諮詢公司或者IT公司吧,主要是做數據分析這塊比較強的公司,比如Fico,埃森哲,高沃,瑞尼爾,IBM,AC、國內BAT等等。通過第一份工作去把自己的知識打得紮實些,學會在實際中應用所學,學會數據分析的流程方法,讓自己成長起來。
而對於自己今後該怎麼發展,該怎麼成長為數據分析大師,去自己喜歡的一個行業,深入了解這個行業,並講數據分析應用到這個行業里。比如我可以去電子商務做數據分析師。我覺得我選擇電子商務,是因為未來必將是互聯網的時代,電子商務必將取代傳統商務,最顯著的現象就是傳統零售商老大沃爾瑪正在受到亞馬遜的挑戰。此外,電子商務比傳統的零售商具有更好的數據收集和管理能力,可以更好的跟蹤用戶、挖掘潛在用戶、挖掘潛在商品。
在一個行業埋頭幹上3年,基本上這個行業的發展背景和將來的方向都會有自己的認知和理解。能夠對整個行業或者公司的業務有個清晰的認知,對自己的公司業務能夠做到心中有數。這樣你離資深數據分析師就不遠了。
而怎麼才能發展為數據分析專家,這不僅需要紮實的理論基礎之外,還需要能夠從團隊出發開始思考問題,能夠走出團隊,開始與業務部門談合作和規劃,能夠通過數據產品解決業務上的問題。比如我是X信的業務部門,今年的目標是通過不同線下活動的刺激做到X信用戶達到7個億。而我作為數據部門,就要去思考怎麼通過線下的營銷平台智能投放給這些用戶,能夠將那些沉默的用戶激活。怎麼做一個用戶健康度平台能夠解決業務部門對用戶健康度的實時監控。這些都是作為數據分析專家需要思考的問題。怎麼帶領自己的數據分析團隊完成這些產品的開發。
而再往發展的高級數據分析專家,資深數據分析專家這樣的情況,不僅需要對公司的團隊負責,還需要能夠給公司的整個業務帶來巨大的影響。能夠將整個公司的外部數據合作,內部數據產品,整個數據分析體系,以及數據體系建設都建立起來。
這可能需要8~10年以上的積累才能達到一定的高度。至少自己還在對這樣的高度的數據分析大拿保持一定的瞻仰。
如果有什麼技術的問題,可以私信我;
如果想要阿里內推的,可以私信我;
如果想討論數據分析該何去何從,可以私信我;
如果有什麼合作的,也可以私信我。
今天先碼到這裡。
——————————————————————————————————
微信公眾號:datafa(數據分析聯盟)
微信群:加V 784414374
QQ群:252805327
新書鏈接:
【數據分析俠 《人人都會數據分析》20萬字書籍】http://m.tb.cn/h.AJEkoq 點擊鏈接,再選擇瀏覽器打開;或複製這條信息¥fSnh09F0Vpy¥後打開 手淘
推薦閱讀:
※【數據蔣堂】多維分析的後台性能優化手段 | 第1期
※360 金融集團運營總監黃天文:驅動用戶增長的 7 大要素
※「數據分析」在現實生活中的應用:用數據智斗偷車賊
※你有多久沒吃泡麵了?速食麵銷量下滑真因「不尋常」