[長篇小說]數據分析俠A的成長故事【2017.2.25更】
————————————————————————————————————
【數據分析俠A的成長故事】
同學A:22歲,男,大四準備實習,計算機專業,迷茫期
作為一個很普通的即將邁入職場的他來說,看到周邊的同學都找了技術開發的崗位,頓覺自己很迷茫,因為自己不是那麼喜歡鑽研寫代碼,而自己又沒太多的經驗。
那年他實習,選擇了一家國內一線梯隊的電商公司,HR問道想選擇什麼崗位,而他本人自己也比較困惑,說對數據感興趣。而恰好那年公司打算成立一個數據部門,就把同學A分配到了市場部的數據組。那時候主管是來自新浪背景的網站分析師。趕上了電商大潮,大家交流的比較多的就是網站分析的PV UV ROI 轉化率 訪問深度 老客戶佔比。做的比較多的是通過GA,百度統計,51la等網站監控平台去監控數據。
然後這些常規的指標並不能滿足實際的業務發展需求,因為市場部門要做人群的簡訊營銷投放,預算比較有限,大家都希望在有限的預算內提高轉化的用戶。同學A開始研究起整個電商網站的用戶路徑起來,看了一本書叫《點擊流》。從介紹怎麼產生的網站日誌,網站的日誌是什麼格式,怎麼解析這些結構化的信息,怎麼存儲起來這些解析出來的數據,怎麼剔除那些沒用的日誌信息,怎麼提高每天數據解析存儲的性能,怎麼把這些數據臨時建立需要分析的數據表,怎麼通過sas python來訪問資料庫的數據,怎麼套sas模型來做那些用戶的關聯屬性模型,這些分析的結論是否合理,多高的支持率置信度也可以應用到實際過程中去,怎麼去監控這些投放的效果。種種的這些問題都讓同學A感覺很困惑。這時候同學A開始找數據倉庫的書開始看,知道什麼是OLAP OLTP,什麼是ETL,什麼是中間層,集市層,怎麼每天調度這些定時任務。通過幾個月的學習,以及請教數據倉庫的同學,同學A終於明白了每天的數據都在裡面,他們都是什麼產生,這為同學A在以後的數據底層表熟悉上打下了堅實的基礎。-----------------2015.8.25更新-----------------------------------------------------------------------------------------------------就這樣同學A折騰了資料庫折騰了幾個月,期間因為同學A有段時間在市場部門下面,所以市場部門的老大對同學A說,「我們希望能夠建立起每天網站的運營監控體系,能夠對每天的流量數據有清晰的認識,而對於網站的運營情況也能夠瞭然於掌,比如用戶都是從什麼渠道過來的?我們希望能夠在什麼渠道如關鍵詞還是暴風媒介上進行進一步的推廣,比如用戶都經常來我們網站點擊什麼頻道,是數碼產品還是女裝鞋帽?」這一堆問題突然剛一個對整個網站或者整個電商體系都還不熟悉的同學A有點hold不住,而同學A也對自己有一定的信息,畢竟已經看了很多數據倉庫方面的知識,對整個公司的數據都存在哪裡都清楚明白。目前老大對他的要求已經開始需要學會能夠應用到業務中去了。同學A先按照老大的意思,操起了excel。整理了一份自己覺得比較完整的excel表格,裡面包含了【流量分析報表】【運營分析報表】,前者更多的是圍繞網站的整個點擊情況,包括網站的UV、PV、訪問量、訪問深度、平均訪問時長、客單價、訂單量、銷售額,這些宏觀的指標同學A覺得應該可以對一個網站的整體定位可以清楚明白。而既然流量分析,就不止步於對網站的一個基本認識,同學A回去思考了下,如果我作為老闆會怎麼樣。「我當然關心我做一個網站需要花多少錢啊?」「我當然關心我花了多少錢賺了多少啊?」 同學A想想整個網站除了基本的架構搭建外,就是在市場推廣這塊花錢最多了,因為經常看到市場部的報表上寫著,這個月暴風影音投了30萬,360投了20萬,百度關鍵詞投了50萬。當時同學A就在想如果這些錢都是我的就好了。=。= 然後想想只歸想想,這也讓同學A覺得渠道推廣的確花了公司不少的money。於是乎同學A開始折騰起【流量分析報表】中的渠道推廣分析模塊,把公司推廣的不同渠道都整理下來,分類了一下,包括SEO/SEM、硬廣、媒介、聯盟、SNS、微博微信。凡是公司接入一個渠道,同學A就整理一個渠道,而且通過每天的投入產品ROI等情況,進行對比。包括哪些渠道適合在需要短平快的情況下使用,哪些渠道適合慢慢做又不太會花太多成本,哪些渠道適合建立起公司比較好的口碑,哪些渠道是公司應該立即停止的。老闆看到了同學A做的這份報表,心裡覺得很開心。證明同學A是在這方面花了時間去思考的,其中在一些新媒體渠道,公司也是在做初步的嘗試,這也讓老闆發現了新媒體的力量。不需要花太多的財力物力,就可以做一個事件營銷或者熱點營銷。老闆對A在渠道上的分析讚不絕口。過了幾個月,公司發展的很快。從之前的一個小網站也發展到全國7個大區32個城市。一個幾十個人的公司也短短髮展到快1000人的公司,拆分了很多大區事業部。這時候老闆把同學A叫進了辦公室,對同學A說:目前公司發展很快,想了解下目前整個公司各個大區的情況,包括每個大區的幾個城市的用戶量、訪問量、銷售業績。同學A為了能夠通過excel展示出來的效果好點,就去百度了下excel的地圖模板,剛好找到了一個不錯的模塊。可以通過vlookup匹配出不同城市的數據情況。而做了幾天後,同學A也發現用戶基本上都集中在廣東、江浙、北京等地,銷售業績也都來源於這些地方。而男性購買的單價也更高些,女性購買的頻次更高些。在同學A的腦海里,彷彿有了網站用戶的一個畫像。
而公司發展的也超出同學A的想像,從一個賣數碼產品更多的公司發展到一個全品類的公司。網站也多了很多頻道,包括秒殺、團購、特價、會員館。這時候老闆又叫來了同學A,說打算在雙11搞了大促,主要想了解下什麼樣的人會在我們網站選擇在節假日購買特價商品。同學A想,我丫的也從來沒做過這東西,不知道怎麼做啊。也沒有任何思路,就去找數據部門的同事聊了聊,其中博士B姐講到,做用戶畫像其實在學術界是早有的概念,針對不同的用戶畫像做個性化營銷。首先第一點,就是要明白我們網站的用戶都是誰,都是什麼樣的,他們都住在哪裡,有什麼購物偏好;第二點,他們的生活作息是什麼樣,是經常朝九晚五上下班,還是不固定的購物時間;第三點,我們可以通過什麼方式跟他們保持聯繫,是經常給他們發簡訊,還是發郵件,還是到地鐵里去宣傳;第四點,我們覺得他們大概在什麼時候需要什麼樣的商品;第五點,我們怎麼告訴他們。同學A在博士B姐的啟發下,從用戶的個人屬性上、用戶的行為偏好上、用戶的訪問來源上、用戶的購買習慣上做了一星期的數據統計。得出了很多有趣的結論,在早高峰和下午4~5點訪問量為主要高峰期,發生的訂單購買主要在早上和晚上8點,他們經常通過百度搜索關鍵詞的方式進來,而購買的65%也都是之前購買過的老用戶。同學A把這些結論告訴了市場部門的同事,營銷策劃部門的同事們覺得同學A的分析結論很有啟發意義。覺得在雙11給這些用戶投放百度鏈接,在早上10點和下午3點、下午6點、晚上8點分別搞秒殺、半價活動。而就在當天雙11,整個公司都完成了一份全年都難以突破的業績成績。同學A在這次活動中感受到了數據分析帶來的巨大商業價值,很有成就感。-----------------2015.8.26更新-----------------------------------------------------------------------------------------------------
時間過的很快,轉眼間同學A在這家公司公司呆了一年半,遇到了瓶頸。眼看和自己一起畢業的同學,還有一些剛畢業的學弟學妹們都開始找工作,而他們就業應聘到的崗位薪水都比同學A高。作為一個已經工作一年多的同學A來說,內心面臨很多掙扎。是選擇去和老闆提要求加薪?還是選擇另謀出路?同學A陷入了一段時間的困境。而這年,電商也是傳統中的槍林彈雨,倒下的該倒下的,繼續燒錢的還在找下一個乾爹繼續玩資本的遊戲。當大家問到同學A在哪裡工作,聽說是國內一線互聯網公司,都投以羨慕的眼光。而各種滋味,只有同學A自己清楚。最後,同學A眼看著和自己一起進來的一些兄弟姐妹們都陸續離開了公司,再也坐不住了。選擇了和部門老大溝通,提出自己希望加薪的想法。說的也很簡單,自己工作一年多了,而且自己也負責做了不少case。相信作為公司的同事們也都看到了同學A的成績。老大聽了這個意見,決定給同學A過幾天一個明確的答覆。過了一星期,部門老大約了下同學A,決定給同學A加薪1K。而同學A聽到這個答覆,也沒有太多的詫異。本身很多一起的同學都選擇跳槽的原因也是如此。同學A選擇了跳槽,在各個招聘網站開始投起了簡歷。約見面試的公司有做遊戲的、有做旅遊的、有做物流的、有做社交的、也有做電商的。同學A鑒於深刻了解電商公司苦逼加班的現狀,決定不想在電商公司再累死累活,而面試的情況並不如同學A想像的那麼如意,貌似很多公司提了一些很技術的問題,同學A都沒有很好的答上。同學A深刻體會到剛工作一年的經驗想跳槽換家不錯的公司,遠比想像中的有難度。再看到北京這樣的霧霾和房價,同學A毅然決然在那個寒冷的冬天,背起行囊,選擇了南下。這次,來到了上海這座大都市。來到上海的第一感覺,濃厚的金融環境,而不再是北京那樣的屌絲都在創業的互聯網。而上海這塊做數據分析,又是互聯網的公司,屈指可數就那麼幾家出名的。所幸的是,這次同學A在之前那些面試的經驗中,總結了不少教訓。面試第一要學會總結,把自己過去的經驗和介紹都一五一十的說清楚,不要給面試官很混亂的感覺。第二就是要誠實,突然是在一個公司本身對數據分析的定位就不清楚,問了很多演算法工程和後台C++問題,讓同學A覺得很茫然。其實如果你不懂就說不懂,本身的面試過程就是一個雙方選擇的過程。第三就是要做好準備,比如面試官在給你做提問的時候,肯定是先看了你的簡歷。你自己對自己的過往經歷的一些細節都要能夠回顧出來,比如你有沒有在一些細節問題上的思考,為什麼用mysql來解決,不用oracle來解決,為什麼建議營銷部門做拉新而不做激活,為什麼當初選擇了離職。這些問題自己都能事先想想。也便於自己在面試過程中有個心理準備。而正是這次不錯的技巧總結,讓同學A斬獲了不少offer。包括知名旅遊網站、零售網站還有一些創業公司。最終同學A覺得零售應該還是互聯網公司的大頭,選擇了零售公司。
上班第一天,同學A先在部門老大的帶領下,認識了之前做這塊工作的交接同學C。同學C原本是數據倉庫部門的同學,因為一個項目的臨時調度,支持這塊的零售分析工作。部門老大讓同學A先在數據倉庫部門學習2周時間,同學A在數據倉庫的這兩周,看到大家都是在用oracle的資料庫,語法和之前寫的SQL基本都差不多。因為涉及到每次要導入導出的數據操作,數據倉庫還用到了PLSQL等腳本。而PLSQL其實和SQL都差不多,同學A在3wschool上簡單看了下就上手了。接下來的一段時間,部門老大看到同學A基本上也快上手了。覺得沒什麼問題,就讓同學A開始做BOSS John比較關心的一張營收報表。主要涉及到的是整個公司每天的用戶量、call center撥打量、轉化量、訂單客單價、送貨成功率、以及最後的營收毛利gross profit。同學A這時候也是希望BOSS John能夠看的比較清楚,就在主動搜尋一些圖表方面的技巧,看到《圖表之道》這本書講的還不錯,把一些excel的圖表技巧都講的很徹底。-----------------2015.9.1更新-----------------------------------------------------------------------------------------------------給同學A震驚到的是,從來沒想到excel可以做到商業周刊那樣的圖片效果,這給同學A很大的觸動。決定將excel好好學習一番。從excel的基本內容介紹看起,包括單元格、圖標、函數、數據處理、數據分析、插件和VBA。而同學A也結合自己的實際工作經驗總結一些常用的技巧和方法,比如怎麼匹配兩張表,怎麼將數組變成一列,比如怎麼快速搜索帶「,」的欄位,比如怎麼將字元串的數字快速提取出來,比如怎麼將分列數組按照逗號分列。excel從此成為了同學A的分析利器。很多同事都戲稱同學A為「excel master」。然而只有同學A自己最清楚,自己永遠不能只停留在對excel很熟練這樣的程度,因為同學A對未來充滿期待,希望能夠有更大的發展。而環顧四周,發現周邊的同學、同事都每天重複的朝九晚五的生活,每天都在聊著這個富家女怎麼樣,那個同事是不是結婚了之類的話題。同學A選擇了走出公司,周末開始積极參加各種各樣的沙龍組織活動,包括數據分析的,包括創業的,包括企業管理的。也就是這一次次的接觸各類各樣的活動,讓同學A發覺原來其他人也遇到自己一樣的困惑,也會有迷茫,也不知道自己公司的數據分析到底怎麼樣的定位比如合適,疑惑是公司的業務採取的措施是否正確,為什麼公司的業務部門和技術部門總是死對頭。同學A選擇自己好好思考,為什麼大家都會有這樣的情況。回憶起數據分析的發展史,在國內被接受也才這麼幾年,而大家談的更多的是數據分析、數據挖掘到底是什麼,是對過去歷史數據的剖析、分析,還是從中發現更多的問題和機會。同學A不在糾結於此,他選擇了翻閱大量的國外的關於數據分析的案例,從那些實驗中找經驗。關注了很多數據分析、數據挖掘的網站、論壇、公眾號,經常看一些比較有趣的資訊,看看行業的大牛們都在聊些什麼。再結合比如手遊行業的流失模型是怎麼做,再衍生想想怎麼應用到零售行業中去。而這段時間也把自己的分析思路,做到PPT里去。雖然老闆還只是讓同學A完成簡單的數據統計就可以了,而同學A把自己嘗試的一些新想法都通過大量的數據驗證,做出了雛形。在excel裡面倒騰了很多基礎的數據,包括公司的用戶都是什麼年齡、什麼城市、有無子女、什麼收入、什麼工作性質,同學A發現人群和自己在電商公司的人群性質很像,都是一線城市的年輕人群。而再結合自己公司call center的銷售模式,同學A似乎發現了什麼。年輕人更多的購物方式都是網購,而電話銷售對於年輕人一群來說,不是最能接受的方式。同學A把自己發現的這個觀點總結在PPT發給了BOSS John。然後BOSS John並沒有給同學A太多的評論。過了兩周,同學A繼續做起了客戶流失分析的PPT。裡面把每天的客戶流失率,每個月的流失率,每年的流失率做成了很大一張圖。只要找出對應的月份,就大概可以估算出客戶的流失率。客戶流失集中在3個月內,3個月~1年是流失率降低的一個轉折點,而過了1年如果還沒流失,客戶基本上再流失的概率會很小。再結合公司的推廣拉新,分析了每個客戶的成本是多少,是建議公司採取更多的廣告投放,還是提高老客戶的回頭率,降低老客戶的流失率。這些都在同學A的這張報告中寫的仔仔細細。確認了數據沒問題後,發給了BOSS John。BOSS John周五喊了整個小組一起開周會。在周會中回顧了下本周部門的工作之後,重點將同學A做的分析報告打在投影儀上,大家都一起看起了同學A分析的結論。同學A講起自己是怎麼考慮目前的公司經營狀況,目前的數據都有什麼,從數據上看到了哪些業務存在的問題,每天其他部門的同事的最大的痛點都在什麼地方,自己又是怎麼思考這些問題的,從哪些地方查的數據,可靠性如何,以及希望BOSS John給予哪些幫助。大家都點點頭,覺得同學A分析的這些問題都很實在。目前公司的重點應該是放在老客戶的維繫上,而這時候BOSS John也說了一句話,公司最近剛接到消息,以後的廣告投放的價格都漲價了,成本會越來越高。公司正打算對廣告投放部門削減開支,對相應的一些員工進行重新安排。而大家似乎都明白了什麼。——裁員
過了一個月,同學A陸續聽到市場部門的老大tannery離職了,簡訊營銷部門的主管LIU SIR跳槽了。而作為同學A的上級領導BOSS John接到董事長的命令,希望即刻到北京去交接之前市場部門的一些工作。就在BOSS John飛往北京的一周後,同學A接到了BOSS John的電話,「目前公司的情況你也應該多少了解了,希望你能夠支撐起整個市場部門的數據部門工作。」同學A聽的有點雲里霧裡,自己平時不是那個說話最多的那個,也不是和BOSS John最親的那個。怎麼會讓自己接起整個數據部門的工作,雖然還在疑惑,但自己還是對BOSS John說「我會繼續加油,好好乾的!」後來HRG姐姐找到同學A說道,「其實大家都看到你的想法,覺得你很聰明。平時也做了很多工作,加班加點認真負責。而且能夠提一些自己的學習到的,很有自我驅動力。」同學A突然覺得「功夫不負有心人」。接下來的很多時候,同學A也不再是滿足於自己做一些很漂亮專業的分析報告,而是更多的會和自己一起合作的小夥伴分析師B、分析師C一起聊如何改進目前的公司業務。而此刻只要BOSS問到同學A目前的簡訊到達率是多少,客戶的回訪率是多少時,同學A都能倒背如流。放佛自己內心有一個計算器,已經不用還再去寫SQL查詢了。想起老古話「心中有數」,感覺就是這樣!過了2年多,因為公司的架構調整,整個行業的不景氣,同學A選擇了離開。事實證明,同學A也做對了。陸續的BOSS John也離開了公司。而在同學A準備選擇下一家公司時,卻接到了一個神秘的電話。-----------------2015.9.7更新-----------------------------------------------------------------------------------------------------手機顯示是個固定的座機號碼,同學A想難道是哪個公司又來邀請面試嗎?這段時間同學A拿到了不少offer,漲薪也不少,甚至有開2倍價格的。而同學A也在左右為難,A公司離家近,B公司名氣不錯,C公司可以給股權,D公司是創業公司並且相對比較自由,E公司離家比較遠不過項目不錯。電話那頭傳來了一個中年男人的聲音,這個自稱是ZJM的先生對A說道:「您好,請問是A同學嗎?」「是,您好。」「哎,您好。很高興終於聯繫上你了。我是ZJM,是朋友john推薦我聯繫一下你的。John對我說了您很多的讚詞,我們目前也是在做一家創業公司,希望您能夠加入到我們公司的團隊中來。」「啊?」同學A一時半會沒反應過來,原來是當時的Boss John推薦的一家朋友的公司。主要做的是進出口外貿的電商生意,區別於X寶/Z東之類的模式主要是大部分提供海外代購的業務,而因為有內部的合作渠道,所以可以拿到更低的優惠價格。同學A聽到這個介紹,內心有了一絲觸動。其實同學A很久之前就已經明白自己想幹什麼。分析了自己的性格,自己屬於那種主動進取型的老虎性格,而自己也比較喜歡愛折騰,如果能夠走上創業公司的道路,也是自己的一個不錯的選擇。自己也不希望在大公司的環境里混吃混喝養老等死。而ZJM先生也是相當的有誠意,並不有聊太多的技術問題,問了下對電商這塊的領域的一些模式怎麼看待,家庭背景是什麼樣子,將來希望能夠做哪些事情,對自己的愛好都有哪些。而A平時沒少想這些人生的問題,對於自己未來的道路,多少有些明白。ZJM先生在電話那頭說道:「那今天先聊到這裡,過兩天會安排下另外的同事再電話溝通下。」
過了一個星期,電話那頭又響起了。這次是個溫柔的女生的聲音,她叫ZY。是這家公司負責HR方面的同事。ZY說道:「上周我們Boss ZJM已經和你溝通過了我們的具體情況了。希望能夠邀請到你加入到我們公司。經過一周的商量討論,能給到你年薪30W,外加出差和行政類的補貼。另外通過試用期可以有相應的股權。」說實話,對於A這樣一個還未滿25歲的年輕人來說,這樣的待遇真的讓A有些心動。A第一次聽到有這麼競爭力的待遇,而自己內心也有一絲的激動。對於是否是創業公司,是否離家近遠,這時候都不是問題了。而自己也是第一時間把這個喜訊告訴了爸媽,爸媽是很普通的事業單位的職工,聽到兒子這個消息,都感到很高興。一個星期後,A沒有猶豫,來到了這家創業公司。第一眼,給A留下印象的就是。創業公司不再像A呆過的之前大公司的形象。這家公司只是很樸實的一層辦公區域。沒有非常華麗的前台,也沒有很大的辦公場地,有的只是十幾個辦公桌和三三兩兩的一些同事。而從大家的臉上也看能的出一份輕鬆和夢想啟航。ZY同學接待了A,告訴A今天ZJM先生不在公司,去出差了。ZY先領著A熟悉了一下辦公環境,認識了一下周邊的同事。A觀察了下,大概總共有15個人的團隊。有10個都是做技術的,包括java開發,前端開發,產品經理。和5個做商務拓展的美女同事。上午就這麼輕鬆的在一個團隊熟悉的環境下結束,大家中午一起吃了午餐,大家都是聊的一些很輕鬆的話題,包括最近什麼APP又火了,他們的模式是什麼樣子,XX公司又融資辣。A能夠感受到大家都是很容易相處的同事。下午,ZJM回到了公司,安排了一個全體的迎新會議。ZJM也希望同學A能夠承擔起建設整個公司數據部門的角色。1.能夠建立起整個公司的數據搜集框架,包括網站的數據,客戶的數據,交易的數據等系統;2.能夠快速支持公司的數據業務,包括商務的數據分析公司和大老闆的數據需求;3.能夠搭建起公司的數據團隊,負責招聘人才和培訓整個團隊;4.對公司的業務負責,能夠承擔起數據推動業務的重任。A聽完之後,倒吸了一口冷氣。說實話,感覺自己一下子擔子很重。自己從前都是自己單打獨鬥比較多,這次要承擔起建設一個數據部門的重任。多少對自己的能力產生了一絲懷疑。A在會議上,說了自己的感想和打算,計劃一周內把整個團隊的將來的人員配置(20人的數據團隊,5個數據倉庫,3個ETL工程師,5個數據分析師,3個建模工程師,2個架構師和2個數據產品經理),以及怎麼建立起公司的數據中心,包括公司的客戶管理系統+交易系統+行為數據中心+風險控制中心+客戶營銷管理中心+財務管理中心+數據分析中心等。ZJM聽完之後,點了點頭。一星期後,A開始在公司演講自己做的PPT,包括需要技術部門有哪些支持,包括數據中心希望怎麼搭建,包括需要什麼軟體來支撐,包括數據中心以後怎麼發揮數據的光和熱。技術部門老大lu問了幾個技術方面的問題,包括數據怎麼搜集,可以安裝什麼監測數據的軟體,之間的優缺點是什麼。而產品經理基本都是點頭支持,表示會全力支持A的工作。而本次商務都沒參加這樣的會議。接下來的一周里,技術部門都在忙著測試網站代碼,準備近期的上線內測。A邀請了技術部門探討過幾次會議,能夠在開發相應公司的時候,提前加入對應的埋點,方便數據的搜集。同時每塊的埋點規範是什麼,也整理了相應的PRD和需求文檔發給了各位技術的開發人員。後面就是不停的推技術部門的同事,希望他們能夠儘快開發完。時間很快,短短3星期過去了。A自己回顧了這段時間的變化,感覺在創業公司區別於之前就職的一些大公司,1.要敢於提出自己的想法建議,大家之間的想法都比較純粹;2.工作的氣氛比較自由,有下午5點就下班的,也有上午10點半才來上班的;3.很多事情都要自己動手解決,沒有可以推卸給誰的時候;4.要有從0到1的心理準備,要不停的去和外界交流學習。
網站如期上線,晚上大家一起去吃了頓大餐慶祝了一下。接著又去外灘18號酒吧,跳了一晚上。A覺得這才是自己想要的團隊的氛圍,大家都像是一家人。也許只有自己明白自己要什麼,才不會迷茫,也不會困惑自己到底適合創業公司還是大公司。很多時候是機遇,也是巧合。-----------------2015.9.9更新-----------------------------------------------------------------------------------------------------三個月過去了,A順利的通過了試用期。ZJM先生這天喊A進了辦公室,對A講:「我們現在公司的定位也是希望能夠做區別於X寶這樣的海外購業務。下周韓國和日本的商務會出國去採購,到時候網站上線了就會有很多訂單。以後也會開展很多國家的業務。目前現在這片的市場還很空缺,我們也是希望能夠趕上時代的浪潮。」在A看來,ZJM像是自己的一個老哥哥,對自己講述著自己未來的規劃和想法。這讓A有些感動,之前幾家公司的職場經歷,大家都是很好的朋友和同事,但很少會聊的這麼細,更何況是自己的老闆。而ZJM也更多的時候沒有以一種上下級的態勢來處理之間的同事關係。
A後來聽說ZJM原來是從事互聯網零售行業的一位老兵,連續創業了很多次了。23歲的時候就已經當時做了一款手機遊戲賣掉2000萬。27歲的時候已經在一家知名公司擔任市場總監,29歲的時候選擇了再次創業做外貿。這些年經歷了由傳統的零售到互聯網化的時代變革,原來做外貿進出口,訂單量特別多,很少會考慮去宣傳什麼,自己對接的是江浙滬地區的企業。直接拿到訂單就開始聯繫合作的企業進行生產加工。那些年賺了不少。而最近幾年行情大變,不再是那種不愁吃喝的年代。工廠工人工資需要漲,招聘的人越來越難找,進出口的產品也沒有了以前的價格優勢,大多情況靠的是原來的一些客戶關係維繫。A發現自己的老闆原來這麼厲害,心裡很多崇拜。決定多向ZJM請教業務上的問題。
想想自己當時22歲時候想過3年做上數據經理,過5年做上數據科學家的理想是多麼的扯淡不堪。還是多踏實做點實事。
晚上,大家部門幾個人都聚餐吃了頓飯。也就在這時候,來了一位新朋友,來自北京的tina,據了解是ZJM請過來做項目經理,而這位空降的新同事在接下來的日子也暫時接管了數據部門的一些工作。
ZJM介紹tina有著豐富的項目管理經驗,在香港/美國都有很多年的工作經歷。而tina第一眼給人的印象也非常的好相處。可A沒有想到,就在tina入職後的3個月里,讓A有了不少的煩惱。
第二天tina約了下A,想多了解下目前數據方面都有哪些工作。雖然tina不是技術背景出生,A還是盡量用自然化的語言講述了目前數據方面都大概有哪些工作內容和計劃。tina聽完之後也說道,目前公司做的這塊海外業務和數據有很大的密切關係,後面應該會有不少的工作需要做。會後,tina讓A整理了一份會議紀要。
接下來,又約了技術部門/產品部門的幾位同學一起討論,打算自己內部開發一套客戶關係管理系統的計劃。大家都七嘴八舌地討論開了,有人說要能給客戶定期的發送簡訊,有人說我們要能接入用戶的生日年齡的數據,也有人說希望能夠打通營銷平台,還有技術開發說開發會需要很長的時間周期。
大家經過二周的時間討論,需要敲定了具體的開發時間節點。
接下來的幾周開發時間裡,tina都把A叫上去參加大大小小的技術討論會議,一扯就是半天,剛開始還好。而後面隨著其他業務部門還有老闆的需求越來越多,而自己又要和技術不停的碰CRM的需求,自己算是忙的焦頭爛額。自己想自己是做數據方面的,怎麼也參與起了整個項目的開發討論。又看看tina每天的工作就是寫寫郵件,好像大小的活兒都是自己乾的,內心很不平衡。而A也把自己這樣的情況告訴了自己的師兄Ben,Ben畢竟自己工作和創業多年,告訴A在職場這個情況都是很正常的。你要學會主動,學會承擔,學會兌現承諾,更要學會拒絕。不然你就會被大大小小不想乾的事情給搞暈。學會見縫插針,什麼是重要的,什麼是緊急的,自己列個每天的計劃表。
A點點頭,覺得很有道理。後面每天的工作自己到公司的第一件事情,就是先想想自己每天大概需要做哪些事情,而哪些又是一些臨時的突發需求。對一些沒必要參加的大小會議,自己選擇了拒絕。突然一下子,感覺自己的時間可以做主。
而對於tina來說,倒是沒有這樣想。tina找到了ZJM,聊了下對A的印象,感覺A不太好管理。ZJM會然一笑。而這話正好被經過門口的A聽見。A心想,這不是跑到老闆那邊打自己的小報告嗎。心裡想想很不爽!這讓A頓覺不是當時那個有愛的大家庭的感覺。自己想說些什麼,但又覺得是否有必要去說些什麼。
在那年過春節的時候,tina早早的休假了。A在大年三十想早點提前走,打電話想和tina溝通下,結果電話提示該用戶已關機。A就寫了份郵件給tina,說明了下情況。回家過年了。
過完年,大家都陸續地來上班了。tina到達公司,約了A和部門的行政助理,和人事的一起開周會。重點講了下有些人沒有提前請假,就回家的事情。A知道是在說自己,心裡沒有什麼想說的。
就在第二天,A給ZJM提上了辭職信。寫的也比較情緒化,感覺自己不能勝任工作,而且違反了公司沒有請假的規定。
ZJM晚上約了A到辦公室,聊了下大概的情況,ZJM說這些情況都無需放在心上,自己知道實際的情況。讓A繼續好好工作,辭職信就先放下。A想還好老闆理解自己的情況,暫時心裡的委屈有些緩解。
接下來的工作歲月里,A把公司當成了自己的家,每天都加班到很晚。自己在這次經歷中深刻體會到自己隨時都可能滾蛋,為了自己在職場不能被別人打敗,甚至是被自己打敗,自己開始做起各種準備。能夠在自己的簡歷上添上很多亮點,每天開始整理回顧自己的每天的工作都有哪些,在實際的業務中起到什麼作用,最後取得了哪些了哪些業績。在獵聘網上,也放了一份簡歷。沒多久就接到不少獵頭的電話,上海有不少不錯的公司有沒有興趣,可以去面試看看。A都拒絕了,感覺自己在目前的公司還是待的比較舒服的,天下烏鴉一般黑,說不定去了一家還不如現在的公司。
-----------------2015.9.11更新-----------------------------------------------------------------------------------------------------
A目前很清楚地明白自己的以後定位是什麼。明白自己想要的是什麼。經歷過這麼多得職場,遇到過形形色色的主管、老闆、同事、朋友、合作夥伴之後,也對整個職場的人際處事有了更深的認識。
有人說,職場就應該PMPMP(拚命拍馬屁)。而A追求的恰恰不是這樣的成就感,他需要那個內心深度的自己認可自己。對自己負責,想起了那個《三傻大鬧寶萊塢》:追求卓越,成功就會出其不意找上門來。
這一天是7月13號,A報名參加了一個大數據的線下沙龍聚會。主題介紹了分享互聯網下的大數據分析應用。今天上海很熱,外面的度數有38℃。可能大部分同學都想想還是在家吹吹空調、睡睡覺算了。A還是頂著大太陽堅持來了。過來簽了下到,看到現場還是有不少相仿年紀的人過來。感嘆了句,還好過來了。選擇了個後排的位置坐下,等待2點的正式分享會。
而就在這個時候,手機QQ響起來。之前在網上一直請教A關於數據分析問題的Ariel發來消息。『你也在那個大數據分享會現場?』『是的啊!』『我中午剛過來,你坐在哪裡呀?』『我在第八排的靠走道的位置。』
突然前面有個妹子站起身來,從A走了過來。A的第一反應,『哇塞!好漂亮啊!』
Ariel客氣地笑了笑,『你旁邊沒人吧,我可以坐在這邊么?』『可以可以。』
2點開始了,主持人上了台,首先來了場關於大數據的開場白。講述了大數據現在已經由互聯網每天海量的信息產生,區別於過往的傳統BI報表分析。而今天所要分享的課題就是,①互聯網領域下的大數據架構,主講人是來自某國內知名上市公司的架構師;②大數據背景下的數據可視化應用,主講人是tableau的技術總監;③如何應用大數據解決實際業務問題,主講人也是來自某一線品牌的電商公司的市場總監。
第一個分享主題,嘉賓主要介紹了目前某知名上市公司如何通過成千上萬台集群解決數據並發量的問題,電商體系的框架架構有哪些,金融體系支付環節的架構有哪些,以及如何通過Hadoop和spark、hana做到數據的offline、online的數據迭代。
第二個主題分享的更多是tableau的操作,因為現場很少有人帶電腦,所以沒辦法實際體驗操作一遍。不過A感覺到tableau在可視化方面還是做得很厲害,一些展示的圖形還是很值得借鑒。
最後的嘉賓重點介紹在做廣告資源位上,如何應用上數據分析和機器學習。在不同的banner、tips、index、search、product detail、shopping cart上做實時的廣告投放。結合用戶現有的個人屬性特徵,和用戶的實時behavior log,計算item值。
A聽得雲里霧裡,之前都沒接觸過這塊。不過還是感覺不錯,學習了很多。最後結束環節,抽獎,A幸運的抽到了《集體智慧編程》。那是一本介紹用python怎麼開發推薦演算法的書。
回到公司,A沒有太多的心思在數據分析上。腦子裡還是回憶著Ariel的身影。想起還是勇敢的打電話約了Ariel周末有沒有時間吃飯,可惜Ariel電話回道周末要加班。A有點灰心。有趣的是,A在刷微博看到了一篇文章《怎麼用數據追女神?》
圖(一)用數據追女神
A覺得這也真是太逗了,居然數據分析的應用可以到人與人之間的約會上。A分析了自己和Ariel也只是第一次見過面,的確離6次還是有些差別。自己對Ariel也不是特別的了解,也不知道她的喜好,在哪裡工作,平時都幹什麼。再想想自己的簡單粗暴地魯莽行為,感覺真是太不靠譜了。
工作日的下班時間,A開始通過微博、微信關心起Ariel,聊聊最近都在忙什麼,平時都去哪裡玩。很快,Ariel和A聊的很來,大家都對歐美比較輕快的音樂感興趣,喜歡好萊塢的科幻大片,了解到Ariel在乙方的數據公司工作,所以平時的工作時間段都比較忙,每天要應付甲方的各種數據需求。
過了兩周,A約了Ariel一起去看了剛上映的《環太平洋》,用淘寶電影購買了當時的電影票,不過那時候沒有像現在的每周六半價這麼給力的優惠政策,也沒什麼貓眼等給力的打折。
ZJM看到最近A的心思都沒有放在工作上,看到有些報表上的數據都填錯了。約了整個部門的同事,晚上到一家日本料理店,聊聊最近的一些工作情況。晚上,大家都來到了這家日料店,整個店鋪的環境就是按照日本的當地風俗裝扮,看起來很有檔次感。
吃飯中,ZJM問了下A最近是不是有沒有煩惱。A笑了笑,最近在追一個女孩。分享了下自己還看到一篇很有趣的關於大數據如何追女神的文章,ZJM聽到哈哈大笑。追女孩有數據是不錯,更多的是人與人之間的相處,要用心,而不是光靠數據。
A聽到覺得很有道理,實際情況比簡單地數據表現複雜很多。這時候Tina說道,『喲,沒看出A還是單身啊?看著應該像女朋友不少的樣子吧。』A有些不想解釋,畢竟這不是自己的作風。Tina又繼續說道,『一般25歲還沒有女朋友,要麼就是比較花心,要麼就是被剩下的屌絲。』A聽到有點頭皮發麻,頓覺tina怎麼這麼攻擊別人。這時候ZJM笑道,在上海男生結婚平均年齡在30歲呢。Tina恭維道,『還是Z總,對數據很熟悉敏感啊,這樣的行業數據都這麼熟悉。』,站起身,給ZJM倒了杯清酒。
-----------------2015.9.14更新-----------------------------------------------------------------------------------------------------
然而這一年,外貿也過的不舒心。寒冬來的很快,雖然大家對外來進口的品牌很有好感,也很容易接受,但是對於一家想發展為幾個億業績目標的公司來說,每天幾十單還是任重道遠。而面對歐債危機的蔓延,整個全球的經濟都發展的不是很好。ZJM陷入了思考。公司剛成立1年左右,自己對通過國外進出口企業合作降低海淘成本也很看好。ZJM覺得應該行動起來,A也和ZJM一起動身去了香港。公司安排在香港先做一些線下的商超、地鐵等人口繁華的地段進行品牌的推廣。ZJM隨便採訪了幾個路過的行人,問了下大家在選擇海淘的環節都一般會關心哪些問題。有的說主要是看重進口產品的質量,有的說是看重了品牌溢出的價值,有的說欣賞海外海淘的這種方式,也有的喜歡更低的優惠價格。
這和當時自己思考,一味通過價格優惠優勢來吸引顧客的想法還是有些出入。也是在數據端為什麼訂單沒有太明顯提升的原因。A也覺得,這些實際的情況的確是很難坐在辦公室里想清楚的。真正能做好數據的,理解商業的,是走出來!
這時候A也有了一些靈感,覺得回公司好好分析下,目前整個網站顧客的新老顧客問題。做了一周,看到了很多驚奇的地方:①在國內下單的第一個客戶是在上海的一個美國人;②下單量排名靠前的依次為母嬰、化妝品、鞋包,而且以女性為主;③下單的客單價平均都比自己預期的要高,顧客有囤貨的習慣;④老客戶的回訪率很高,而且是在特定的品牌上。
A覺得,想要做好外貿海淘這塊,真正需要服務好的,是那些有海淘習慣的老顧客。
ZJM聽到這個分析,回想起自己在香港的查勘經歷,實際情況也驗證了這幾點。而自己沒想到的是,有在國內的老外也有海淘的習慣。這是自己真沒有料到的情況。ZJM迫不及待叫來的市場部門的BD和策劃,希望能夠做一個整年的海淘推廣方案。重點是在母嬰、化妝品等有知名度品牌的線下商場。
A也理了一些方案,包括:
1.定期發布新產品的信息,在各B2B、B2C網站更新自己品牌的產品信息,在產品位置排序權重中不要拖後腿;
2.開發一套完整的CRM客戶管理系統,包括對老客戶的生日提醒,新品發布的提醒,半價打折促銷等消息的提醒,客戶對平台的反饋聲音,同行業的微博討論的熱點監控;
3.定期總結和分析每日、周、月、季度的業績情況,每個環節的轉化是否正常;
4.對老客戶聲音的重視,安排專人的私人客服解決老客戶反饋的問題和建議。
功夫不負有心人,經過2個月的努力,公司從每個月1500單直接翻番到3000單,從具體的提升數據來看,3000單里有70%來源於老客戶的。這個數據也讓A堅定了信心,要做好這個CRM系統。
A在網上找了幾家這樣的外包公司,聊了聊大概的需要,想了解下具體如果外包給第三方公司的話大概需要多少成本。而很多外包團隊都反饋消息稱,沒辦法給出一個確定的報價,需要A整理出具體的需求文檔,最好有PRD可以提供出來。而A正好想起自己在大學時期,業餘的時間還折騰過axure。找到了公司的部門產品經理bob,請教了大家可以怎樣方便快捷的畫出產品的PRD。
晚上,為了感謝下bob,約了bob去最近的一家牛肉火鍋店吃晚飯。正好也是想多了解了解產品經理這塊具體都做些什麼事情。說起這家牛肉火鍋店也很特別,店鋪的老闆不是一個人,而是很多人一起籌錢眾籌的一家火鍋店。而這時候眾籌也是一個很新的概念,大家聽到的更多是關於眾包的概念,對於眾籌,還真是第一次聽說。
正好其中有個老闆今天在,就給人介紹了下。眾籌最初是艱難奮鬥的藝術家們為創作籌措資金的一個手段,現已演變成初創企業和個人為自己的項目爭取資金的一個渠道。眾籌網站使任何有創意的人都能夠向幾乎完全陌生的人籌集資金,消除了從傳統投資者和機構融資的許多障礙。眾籌的興起源於美國網站kickstarter,該網站通過搭建網路平檯面對公眾籌資,讓有創造力的人可能獲得他們所需要的資金,以便使他們的夢想有可能實現。這種模式的興起打破了傳統的融資模式,每一位普通人都可以通過該種眾籌模式獲得從事某項創作或活動的資金,使得融資的來源者不再局限於風投等機構,而可以來源於大眾。在歐美逐漸成熟並推廣至亞洲、中南美洲、非洲等開發中地區。國內眾籌與國外眾籌最大的差別在支持者的保護措施上,國外項目成功了,馬上會給項目發錢去執行。國內為了保護支持者,把它分成了兩個階段,會先付50%的資金去啟動項目,項目完成後,確定支持者都已經收到回報,才會把剩下的錢交給發起人。截至2014年7月,國內有分屬於股權眾籌、獎勵型眾籌、捐贈性眾籌等不同形式的平台數十家不等。
A之前對眾籌這塊還了解的不夠深入,只是聽說有非法集資的風險。當時也沒聽懂,就沒放在心上。
這個時候A問起了bob,
「bob,你結婚了嗎?」
「還沒呢,不過男朋友已經有了。打算年底結婚吧。」bob說道。
」買房了嗎?上海這邊房價不便宜啊。「
」是買啦,我和我男人是典型的房奴。他買在松江,我買在浦東這。還好我們沒有結婚,不然我今年買的話,就算第二套房了,要多叫5,6萬的稅。「
A笑起來,」土豪哈!「
兩個人就這樣聊了一晚上,彼此都成了很好的朋友。而A對產品這塊的理解,真的要多感謝感謝Bob對自己的幫助。
第二天,A把產品的PRD畫好後,發給了外包公司。對方報了個差不多的價格,計劃開發周期是3個月,A把這個消息發給了ZJM。ZJM點點頭,覺得A很不錯啊,能夠自己干起了產品這塊的工作了。看到外包公司給出的價格也比較合理,讓A找個時間,去外包公司當面聊下,可以的話簽個合同。
-----------------2015.9.18更新-----------------------------------------------------------------------------------------------------
周末A和外包公司聯繫上,上午去拜訪了。這家外包公司坐落在徐匯區的老田林,簡單的環境,周末有三四個人在公司上班,看起來大家都在研究著自己的東西。A走進了丁總(外包公司leader)的辦公室,聊了下想做成什麼樣子。A說道:『我們希望能夠做一個CRM系統能夠維護起我們目前的客戶資料,主要的功能點有:營銷過程中得客戶資料支持,產品銷售的業績跟蹤,以及客戶的服務。
重點場景包括:1.我們能夠知道我們的客戶是誰?是什麼樣的人?有什麼特徵?能夠幫助市場人員分析現有的目標客戶群體,如主要客戶群體集中在哪個行業、哪個職業、哪個年齡層次、哪個地域等等,從而幫助市場人員進行精確的市場投放。
2.能夠對接各個營銷方式,如SMS、iagent、EDM、客戶端push消息。
3.產品銷售環節能夠包括潛在客戶、客戶、聯繫人、業務機會、訂單、回款單、報表統計圖等模塊。業務員通過記錄溝通內容、建立日程安排、查詢預約提醒、快速瀏覽客戶數據有效縮短了工作時間,而大額業務提醒、銷售漏斗分析、業績指標統計、業務階段劃分等功能又可以有效幫助管理人員提高整個公司的成單率、縮短銷售周期,從而實現最大效益的業務增長。
4.客戶服務模塊能夠有客戶反饋、解決方案、滿意度調查等功能,包括輿情的監控、客戶通過簡訊、官網、微博的反饋意見,客戶的滿意度調查問卷結果,客戶的投訴等。』
丁總點點頭,給A展示了之前做過的幾個成功的項目,哪些可以直接造搬,哪些需要修改的地方。
A問了大概需要的具體開發時間周期,大概每個模塊的開發時間節點,每個模塊的報價以及公司對接的哪個同事。
中午兩人去了樓下的一家東北菜吃了下飯,A覺得很久沒有吃到那個在北京時候的味道了,菜量很足讓A有些懷念。丁總說,自己也曾經是在某家公司的總監,和幾個兄弟一起做技術方面的工作。後來公司調整,裁了不少人員。丁總就和自己的幾個開發同事一起離開了公司,註冊了一家開發的新公司。很多時間都是靠自己的之前客戶幫忙介紹的訂單,目前也接了華為一些比較大的項目,爭取今年能夠把公司的知名度做出。
A下午回去後,和ZJM具體說了下大概的情況。ZJM審批了下這個項目,決定開始做。
過了兩天,ZJM安排A去面試一個來的應聘者。他叫Z,是剛畢業的同學,從簡歷上看得出Z在大學幹了不少兼職的事情。但是都做得比較雜,來面試聊過之後發覺Z對自己的未來也是比較迷茫。對基本的資料庫第一範式、第二範式這些還是有些了解,不過其他的關於數據分析的就知道的不多了。A面過之後,讓Z回家等通知。事後ZJM問A怎麼樣,A搖搖頭。
這天,Ariel打來電話,問A晚上有沒有時間,想請教A一些關於報告的問題。想了解下A是怎麼快速地寫分析報告的。
A晚上如期而至,挑了家比較輕鬆愜意的餐廳。A介紹到當年自己做分析報告的經歷,那時候做分析報告其實也是非常的菜鳥,後來看到一個蠻厲害的網站分析愛好者寫分析報告,傳說是每星期會寫3~4份非常專業的報告,當時就偷偷的去看他是怎麼寫的。
每天大神總會在艾瑞諮詢、易觀國際、百度數據中心、情報中國網搜刮一些行業數據分析報告,研究他們的分析報告框架和報告分析思路。了解每個報告的一些常用的圖表、文字、分析結論的方法。把這些常用的圖片元素和excel處理保存下來。而在寫一個分析報告之前都會找業務方了解具體的業務都是什麼樣的現狀,平時工作的內容都有哪些,難點是什麼,希望得到技術和數據方面的什麼支持。而這些困難和挑戰當中,哪些是可以解決的,哪些是目前不能解決而未來有希望解決的,哪些需要得到什麼樣的幫助。
A把大神常用的SWOT分析、波士頓分析、4P/5W1H等常用的市場營銷方法整理了下,記憶中也找到一本關於《100個經營管理工具箱》的電子書,裡面講解了很多關於經管上的分析方法論。
而對於分析報告中常用的先分析目前的現狀,到發現目前的問題,到提出解決目前問題的方法,以及從目前業務中發現機會。這樣的分析路線在以後的A寫得分析報告中經常應用到。
A告訴Ariel,寫一個報告最重要的就是找到分析的框架,就像建房子一樣。有個框架之後,就分析整個業務的前因後果、知其然、知其所以然並做到望聞問切。Ariel點點頭,但還是有些不太能夠理解。
-----------------2015.9.21更新-----------------------------------------------------------------------------------------------------
A細心的講解了下,首先,要有一個好的框架,跟蓋房子一樣,好的分析肯定是有基礎有層次,有基礎堅實,並且層次明了才能讓閱讀者一目了然,架構清晰、主次分明才能讓別人容易讀懂,這樣才讓人有讀下去的慾望;第二,每個分析都有結論,而且結論一定要明確,如果沒有明確的結論那分析就不叫分析了,也失去了他本身的意義,因為你本來就是要去尋找或者印證一個結論才會去做分析的,所以千萬不要忘本舍果;
第三,分析結論不要太多要精,如果可以的話一個分析一個最重要的結論就好了,很多時候分析就是發現問題,如果一個一個分析能發現一個重大問題,就達到目的了,不要事事求多,寧要仙桃一口,不要爛杏一筐,精簡的結論也容易讓閱者接受,減少重要閱者(通常是事務繁多的領導,沒有太多時間看那麼多)的閱讀心理門 檻,如果別人看到問題太多,結論太繁,不讀下去,一百個結論也等於0;
第四、分析結論一定要基於緊密嚴禁的數據分析推導過程,不要有猜測性的結論,太主觀的東西會沒有說服力,如果一個結論連你自己都沒有肯定的把握就不要拿出來誤導別人了;
第五,好的分析要有很強的可讀性,這裡是指易讀度,每個人都有自己的閱讀習慣和思維方式,寫東西你總會按照自己的思維邏輯來寫,你自己覺得很明白,那是因為整個分析過程是你做的,別人不一定如此了解,要知道閱者往往只會花10分鐘以內的時間來閱讀,所以要考慮你的分析閱讀者是誰?他們最關心什麼?你必須站在讀者的角度去寫分析郵件;
第六,數據分析報告盡量圖表化,這其實是第四點的補充,用圖表代替大量堆砌的數字會有助於人們更形象更直觀地看清楚問題和結論,當然,圖表也不要太多,過多的圖表一樣會讓人無所適從;
第七、好的分析報告一定要有邏輯性,通常要遵照:1、發現問題 2、總結問題原因 3、解決問題,這樣一個流程,邏輯性強的分析報告也容易讓人接受;
第八、好的分析一定是出自於了解產品的基礎上的,做數據分析的產品經理本身一定要非常了解你所分析的產品的,如果你連分析的對象基本特性都不了解,分析出來的結論肯定是空中樓閣了,無根之木如何叫人信服?!
第九、好的分析一定要基於可靠的數據源,其實很多時候收集數據會佔據更多的時間,包括規劃定義數據、協調數據上報、讓開發人員 提取正確的數據或者建立良好的數據體系平台,最後才在收集的正確數據基礎上做分析,既然一切都是為了找到正確的結論,那麼就要保證收集到的數據的正確性,否則一切都將變成為了誤導別人的努力;
第十、好的分析報告一定要有解決方案和建議方案,你既然很努力地去了解了產品並在了解的基礎上做了深入的分析,那麼這個過程就決定了你可能比別人都更清楚第發現了問題及問題產生的原因,那麼在這個基礎之上基於你的知識和了解,做出的建議和結論想必也會更有意義,而且你的老闆也肯定不希望你只是個會發現問題 的人,請你的那份工資更多的是為了讓你解決問題的;
十一、不要害怕或迴避「不良結論」,分析就是為了發現問題,並為解決問題提供決策依據的,發現產品問題也是你的價值所在,相信你的老闆請你來,不是光讓你來唱讚歌的,他要的也不是一個粉飾太平的工具,發現產品問題,在產品缺陷和問題造成重大失誤前解決它就是你的分析的價值所在了;
十二、不要創造太多難懂的名詞,如果你的老闆在看你的分析花10分鐘要叫你三次過去來解釋名詞,那麼你寫出來的價值又在哪裡呢,還不如你直接過去說算了,當然如果無可避免地要寫一些名詞,最好要有讓人易懂的「名詞解釋」;
十三、最後,要感謝那些為你的這份分析報告付出努力做出貢獻的人,包括那些為你上報或提取數據的人,那些為產品作出支 持和幫助的人(如果分析的是你自己負責的產品),肯定和尊重夥伴們的工作才會贏得更多的支持和幫助,而且我想你也不是只做一鎚子買賣,懂得感謝和分享成果的人才能成為一個有素養和受人尊敬的產品經理。
Ariel將這個收藏在《數據分析報告怎麼寫》當中。
-----------------2015.9.23更新-----------------------------------------------------------------------------------------------------過了兩天bob跑過來,問A周末有沒有時間,有個朋友組織數據分析活動聚會。A一口答應沒問題。正想周末無聊不知道幹嘛呢。平時發現在上海的數據分析聚會活動也很少,這次據說是bob的一個朋友組織的。對於能夠在上海有這樣的聚會A很興奮。總算到了周六,A早上寫完周報趕緊看看了今天分析聚會的主題《數據分析在企業中的應用》。中午吃了頓飯,和bob約了在人民廣場地鐵站碰面,這次聚會地址定在上海老站,那個地方在徐家匯附近,算是一個比較嫻靜的好聚處。Bob讓A認識了下在這個行業做了十多年的翟哥,看到翟哥的第一眼,A覺得翟哥應該是一個比較老實的技術男,待人接物穩重,說話慢條斯理,長相敦厚。
後來了解到翟哥是做了很多行業,汽車、電商、零售行業,SAS玩得很溜,也做了很多網站和論壇。發表過不少關於數據分析工具使用的文章,也整理了不少數據分析方面的資料。
這次聚會還認識了base在杭州創業的朱哥,朱哥給人的感覺就是在外面創業的,像一個初創公司的CEO,拎著公文包,時刻準備著跟人談生意的感覺。還有做外貿的薩姐,做美股操盤手的慧姐,以及和自己差不多大的D姐。
今天邀請的是來自HD公司的高級數據分析師軍軍同學來做的分享,主要圍繞數據分析在其零售公司中的一些實際場景的應用。2點大家都坐好,準備起分享的主題。軍軍同學主要介紹了HD公司的營銷系統框架,產品→數據→營銷→用戶。產品主要根據季節、功能、屬性、地區等維度做區分,結合目前已有的CRM/ERP/DW等系統的數據,通過不同的營銷方式和不同種類的用戶做個性化。其中數據方面的應用軍軍做了下重點分享,圍繞用戶是誰,用戶幹什麼,用戶有什麼需求,我們可以給用戶提供什麼做了下分享,但A看得出來很多公司都是這麼來做得,沒有聽出太亮點的地方。而在HD做營銷的方面,巧妙的應用了新媒體的營銷,通過微信朋友圈來製造營銷事件,讓大家都在討論同一款產品還是頗有新意。另外有海外網站可以通過電腦攝像頭來觀察分析用戶的表情變化,來搜集用戶的反饋。
2小時的分享讓A覺得整個分享環節有些枯燥,日後A在做現場分享的時候也體會到了演講的藝術,不光是拋給聽眾我要講的東西,還要能夠調動現場的氣氛讓聽眾在不知不覺中接受所講的內容,特別是充足的準備是必要的。
Q&A1小時的時間,有做淘寶店提問的,有做外貿提問的,有做母嬰零售提問的,A停下來感覺雖然他們都是在做零售行業,但都沒有一個系統的零售行業培訓。或者說他們都渴望通過數據來改變目前的店鋪或平台現狀,而卻不知所措。5點半大家選擇了附近的一家飯店去吃晚飯,翟哥正式邀請A下個月來做下分享活動,A想如果準備準備應該沒有問題。
在接下來的一年中,A和翟哥、朱哥成了非常好的朋友,一起組織活動、一起做網站、一起做項目、一起周末周邊游。A也沒有想到,自己就這麼搞分享活動漸漸愛上了組織活動,去南京、去杭州、去北京、去深圳做了很多次分享。這個行業的或多或少的人也都認識了A。而A自己內心深度也非常喜歡這種分享自己的想法、經驗和思想。
-----------------2015.9.26更新-----------------------------------------------------------------------------------------------------
翟哥送了本車品覺的《決戰大數據》給A,A也是迫不及待回到家大快朵頤。全書從為什麼大數據說起來容易做起來難出發,以大數據構建未來商業利器結束,總共花費了11個章節,中間穿插著其在阿里的數據實踐經驗,A結合自己的讀書體會,特將其總結歸納為以下50條:
1、大數據從來都不是免費的午餐,因為數據來源渠道的寬泛,難免出現偏倚誤差。
2、人的斷層是是大數據應用面臨最嚴重的問題,這個斷層包括溝通的斷層、建模的斷層,譬如現在收集數據的人不知道未來使用數據的人要什麼?創建模型的人不知道未來數據是否穩定,使用模型的人不知道數據的來龍去脈。
3、從數據化運營到運營數據,是從看到用的過程。這個過程需要主動管理,需要更多的創新,需要學會問問題,問問題的過程就是尋找答案的過程,好的問題就是答案。
4、從商業角度講,大數據的本質就是還原用戶的真實需求。
5、數據價值的如何判定?首先看這個數據與你的目標是否一致,對你的價值是什麼?其次看這個數據能否清楚的識別用戶身份,以及反應出的對應的場景。
6、學會雙向思考,關於數據的價值,對於企業而言,是實現企業資源的合理分配,而對於用戶而言,則是對用戶體驗的提升改進,比如個性化的推薦系統就基於此。
7、場景與還原並行,前端還原為消費者場景,後端還原為業務需求。
8、數據的本質是還原,落地可能表現為收集元數據的方法,個人建議初期引入最小數據集的概念。
9、關於數據還原可以從兩方面理解:①對人的行為目的的還原;②對製造原始信息的人的朔源。
10、活的數據才是大數據,這裡的活主要從兩方面考量:一是靈活收集數據,抓相關性,比如我們的克強指數;二是靈活動態的數據指標,動態的使用數據,將數據場景化。
11、 移動互聯網時代,無線數據將是大數據的「顛覆者」。這個顛覆主要指無線數據的加入將原有數據的噪音加大,無線數據與原有PC數據的關係處理等。
12、無線數據分為wap和app兩種,而APP的數據收集方式又有兩種:①收集用戶聯網時請求伺服器的記錄②用戶行為記錄。
13、 APP對用戶的識別主要基於手機的機器碼,而機器碼在不同系統中也有差異,差異體現在操作系統本身的差異和操作系統版本的差異。
14、 保證PC和無線兩份數據的完整,通過用戶體系將兩份數據關聯起來,就可以在分析過程中用彼此的融合來還原用戶的行為,所以用戶體系的建設在多屏時代尤為重要。
15、 關於數據價值,從數據的角度講,估值就是通過不同的緯度去思考數據的價值。
16、 數據作為一種資產,不同的數據含金量必然不同,自然就會產生不同的價值,與此同時,同樣的數據在不同環境中也會呈現出不同的價值。
17、數據的四種分類:①可再生與不可再生數據;②基礎層、中間層、應用層數據;③不同數據主體對應的主體數據;④隱私與非隱私數據。
18、數據的五種價值:①串聯與識別價值;②描述價值;③時間價值;④預測價值;⑤產出數據價值。
19、 數據分類與數據價值的意義,主要還是體現在數據產品的建立上,其應用思想體現在基礎層-中間層-應用層上。
20、基礎層收集那些數據,如何收集,如何保存等;中間層涉及數據管理與數據框架的搭建,應用層則是八仙過海各顯神通。
21、數據收集的出發點是解決問題,此外數據的生命周期、收集背景都須注意。
22、 用數據是一種方法論,養數據則是一種數據戰略,是基於更深的商業解釋的商業決策。
23、 跳出固有思維圈,從旁觀者角度出發,跳出0或1的選擇,我們可以有第三種選擇。
24、數據應用應該是小而美,而不是大而全。小而美指目標簡單具體。
25、 如何利用數據框架做決策,簡單四步告訴你:①確定問題,從解決問題的角度去收集數據;②整理數據放在一個框架內;③看框架與決策的關係;④根據決策行動,檢查是否達到目的。
26、數據的盲點分為物理盲點和邏輯盲點,物理盲點是我不知道的,邏輯盲點是我知道但沒被挖掘的。
27、 數據也有正負能量,正能量的數據告訴你如何成功,負能量的數據告訴你如何避免失敗。
28、是否看到數據盲點的核心價值是,有沒有看到應該看到的數據,有沒有錯失不應該錯失的數據。
29、數據運營中的常見問題:①堵,日常報表信息量大,難以鋪捉有效信息;②獨,信息分散在不同部門,缺少有效組合;③慢,業務異動的處理往往是自上而下的推動;④漏,關鍵分析成果取得實效,但未實現沉澱。
30、 阿里的大數據實踐一:數據化運營需要和商業咬合的非常緊密,所以數據也是混合在商業里,以假定穩定的方法去做業務上的對比、細分以及趨勢預估。
31、 阿里的大數據實踐二:假定數據是穩定的,意味著習慣於不去尋找一些新數據,用數據拿數據的方法可以將數據化運營和運營數據打通。
32、 阿里數據化運營的內三板斧之混:混出數據,只有具備商業敏感的分析師,才懂得使用什麼數據來驅動公司實現經營目標,數據部的人和業務部的人經常混在一起。
33、 阿里數據化運營的內三板斧之通:打通混的數據,通是混、通、曬的關鍵節點,知道帶著業務問題看數據或帶著數據看業務,這就是通。
34、 阿里數據化運營的內三板斧之曬:曬出混和通的數據,數據能不能做到獲取、使用、分享、協調、鏈接、組合之上,讓自己變得超級簡單和便捷,這是數據化管理運營中非常重要的一點。
35、 數據化運營需要有框架可依,做到如何證明業務是好還是不好,而這裡的框架就是一個對業務進行指標化的分解,並通過有限多個指標來客觀描述業務的狀況。
36、 阿里運營數據的外三板斧之存:存是數據收集的開始,收集數據不是目的,讓收集起來的數據如何產生價值才是最終目的。
37、 阿里運營數據的外三板斧之管:管是保護好存儲數據,學會用數據產品來解決獲取以及使用數據的問題。
38、 阿里運營數據的外三板斧之用:用是從收集數據到管理數據,在用數據的問題上,數據的分裂和重組,都能做到顛覆性的創新。
39、數據思維之MECE法則,不斷地用邏輯方法將問題進行分解,直到不能分解為止,然後從根本去解決問題。
40、大數據的本質是人,數據研究的極點就是揣測變幻莫測的人性。
41、假定數據是髒的,在處理數據的時候,會像污水處理廠一樣,每一步都問自己幾個為什麼。這種情況的出現,到底是因為數據髒了還是因為數據提驗過程中做的不好。
42、 做好數據的質量評分,從反映數據的可信度和質量水平出發。
43、 學會慢慢的淡化數據,數據是有優先順序的,在數據中有些是特別核心的,有些即使缺失了也沒問題,所以,我們要學會真正坐下來盤點那些對公司最有價值,對用戶最有價值的數據。
44、數據的標籤化管理,數據的屬性標籤是人類經驗判斷的數據,是數據後的數據。
45、大數據價值的實現在於數據與數據之間的連接。
46、數據的實時化和實時性分層,我們千萬不要把所有能力都用來處理實時化的問題,因為我們依然會有大量的數據需要在恰當的時機處理,有的數據是重要的,但並不緊急。
47、關於數據,未來是人機的結合體。人和機器的結合,或者人和數據的結合將是未來的一種進步模式,人類將通過數據變得更加智能。
48、未來,人身體中流通的不僅是血液,還有數據。
49、 關於數據分析,更準確的說法應該是信息分析,目的是尋找短板,這個短板可能是自己的,也可能是競爭對手的。
50、我們都說數據分析是指導決策的重要依據,但我們用什麼來保證分析的正確呢?是不斷的試錯還是考驗我們數據分析師(科學家)分析和利用信息的能力。
總體看下來,A覺得這本書很通俗易懂。也抄下本書中講到的【數據十誡】:
①好的問題,答案就在裡面。
②在實踐中提煉數據。
③讓數據變成科技,惠及更多人。
④讓數據跟著「人」走。
⑤木有數據質量,神馬數據都是浮雲。
⑥以「假定數據是可以獲取的」去思考問題。
⑦大數據安全,不是監管。
⑧利用數據拿到更有用的數據。
⑨建立數據的數據,才有進步。
⑩讓人做人擅長做的事,讓機器做機器擅長做的事。
在A之後的數據生涯里,這十條戒律著實影響了A的一生。
-----------------2015.9.29更新-----------------------------------------------------------------------------------------------------
那年畢業回家發展的同學們(某大拿建議說加上框架標題,接受這個意見:D)
這年,南京的「油條」(註:油條為A在網上認識的某數據分析愛好者)發來邀請,向A傾訴道:「A,真羨慕你們這些在一線城市的。你看我們在南京、蘇州這些鬼地方的,都沒有什麼做數據分析的,每天都停留在excel的報表中。像我們公司是做收藏品這塊的,公司老闆也就掌握那麼幾個固定的大客戶就夠了。基本上每個月的業績就是靠那些客戶來完成,公司內部也沒幾個人懂什麼是數據分析。我也就是經常在群里和你們這些人聊了才知道你們每天都在做什麼?什麼時候來我們這邊做做分享哈?」
A在平時的群里看到大家也就經常聊聊一些不著邊際的話題大概也都能感受的出來,二線城市數據分析師的「迷茫」。或多或少,也是因為沒有那樣的環境,作為一個小企業而言,很少會把重點放在數據能力的建設上。而特別在二線城市那些強調企業成本的情況下,更多的公司會選擇成本更低、資歷更淺的候選人。
A也感嘆道:「你們在二線城市的也不知道一線城市的痛啊!每天朝九晚五,花在路上的時間就有2、3個小時。平時工作都很忙,天天被領導壓榨,天天背著KPI,如果完不成就要滾蛋,根本就沒有幸福感可言哈!」
「所以在哪兒都不好混啊!」油條說道。「那您什麼時間可以來南京組織下活動分享分享唄!」
A思考了片刻,還是答應了,「這個月底要不我們來組織下?」
「太好了,我們在群里組織下。把南京的小夥伴們都叫上,看看他們都有哪些想法,然後把場地和設備都搞定了。」
大家聽到要在南京搞數據分析的聚會,都感到很興奮。
A有一種大家回到校園時代的感覺。這種似曾相識的感覺很珍貴。特別是在職場呆過幾年之後,看過那些不堪回首的種種,很希望那種人與人之間的純真。也做數據的時候也是,數據一定程度上反映了客觀事實,而這往往會和人與人之間的利益關係相衝突,有些數據該不該說,有些數據能不能看,幾年的感受讓A覺得有些事情還是不知道的好。A想,既然要搞次聚會,就不要人太多,避免過往歷史經驗教訓人多嘴雜,意見不統一。大概約定控制在30人左右。安排油條負責大家的報名工作,看下具體定在什麼時間比較合適。超出A的意料,整周的報名人數也就22個人。這有些打擊到A的信心,另一方面也感受到二線城市的數據分析師的窘境。
回憶起當時自己的大學同學,那些回家發展的,很多都是希望能夠穩定、不要有太多冒險走南闖北的。像和自己之前的室友SWC,大學一畢業就回了蘇州,找了一份簡單的銀行工程師的工作,平時的生活也很舒適,周末就宅在家裡看上網看電視。日子也算過的不錯,父母親也希望他能早點結婚。SWC對於這樣的生活節奏也習以為常,日子久了看看那些在一線城市的同學也會有些無聊。
也有回家繼承家業的同學WY,其父親是一家紡織工廠的老闆,希望WY能夠回家幫忙。每天的事情就是幫著家裡的生意打理著和客戶之間的關係。日子過的有些小忙,不過也沒什麼壓力。每年也算有個幾十萬的純毛利。
還有個同學LJ,畢業來了上海,在上海一家廣告公司做了兩年銷售,那年在2月14的情人節,和一個一起上班的女孩子兩個人在一起逛街的時候突然哭了起來,說壓力好大。自己來上海也幾年了,感覺自己是一無所有,又不好意思回老家工作,老家的很多人聽說她在大上海有份很體面而且薪水不菲的工作,可是很多老家的人不知道這份錢和大上海的房價比起來只是杯水車薪,當時她哭著說想回家,安安靜靜的找份工作過簡單的生活。因為沒有找到合適的男朋友,回家還有個想法就是在家找個男朋友。後來有位大姐安慰她:女孩子沒必要在外面風風火火的打拚,到頭來只會讓你覺得很累很累,而且一般也不會找到你想要的成就感,你需要一份穩定的工作,在年輕的時候享受你的青春,想結婚的時候用心看用心尋找一個愛你的男人。當時LJ仔細想想,人有的時候就是這樣,有很多無奈。後來LJ回了老家,過的貌似比在上海開心很多。
在二三線城市固然沒有一線城市那麼廣闊的機會,而現在為了引進人才二三線城市也提供了很多優厚的福利給高新人才還有更輕鬆的居住環境。而希望能夠年輕的時候拼搏一下的話,一線城市無疑是更好的選擇。
-----------------2015.10.12更新-----------------------------------------------------------------------------------------------------
|互聯網金融真的來了
這一年對於A來說,有款產品對A影響非常深刻。每天A都會在心裡計算著今天有多少收益,每天看到自己的支付寶上能有10塊錢的收益,心裡就別提多高興了。要知道A平時為了省錢,早上幾塊錢的包子和坐公交的錢都省了。
而A不知道就在這一年的前幾個月,在杭州支付寶大樓里有個叫「春秋書院」的閉關室,立馬有一群緊張而興奮的年輕人在忙碌著。項目室巨大的落地窗前,站著一個面色凝重的人,他就是天弘基金創新事業部技術負責人樊振華,一個在金融IT領域有著豐富經驗的老兵。他看著窗外川流不息的汽車,深深地吸了一口氣。
這是一個只有代號但沒有名字的保密項目,內部稱之為「2號項目」,2號項目的旺旺交流群的簽名上寫著「2013支付寶秘密武器」,足可見這個項目的重要性。
截止到今天,中國近億人因為這個項目受益,改變了自己的理財習慣。這個神秘的項目,就是餘額寶。那麼餘額寶的初期業務背景是什麼呢?由此引發出對IT系統建設的需求又是什麼?
餘額寶的業務背景
在支付寶上賣基金的想法,在天弘基金電商負責人周曉明心中經過多次的思考和錘鍊,已逐漸清晰。他在向阿里小微金服集團國內事業群總裁樊治銘介紹餘額寶模式的雛形時,準備了5分鐘內容,但只講1分鐘後,雙方即達成一致意見可以做、快速做,並期望餘額寶能在6月上線運營。
雙方隨即行動起來,進行了簡單的分工,支付寶負責餘額寶在支付寶端的建設工作,而基金公司端負責與支付寶對接的直銷和清算系統的建設重任,就落到了樊振華頭上。
這是一個從來沒有人做過,也沒有人知道該如何做的創新業務,面對支付寶巨大的用戶群體,在僅不足3個月的時間內,該如何設計基金的清算和直銷系統,成為了樊振華面臨的頭號難題。
2013年3月,樊振華一行與支付寶技術方進行整體架構溝通,這是傳統金融行業建設思路與互聯網技術路線的第一次衝突,雙方在閉關室足足討論了4天,確定下來一期系統的建設目標和要解決的問題。
當時主要面臨以下難點。
1. 要能支持「千萬級」用戶的系統容量。
(1)傳統的基金銷售系統主要是和第三方銷售機構,如銀行理財專櫃、網上銀行進行合作銷售。直銷系統能夠處理每天幾萬到幾十萬個用戶的開戶就完全夠用了。但「餘額寶」面對的是數以億計的支付寶用戶,用戶的開戶數量和並發量與傳統業務有數量級的差異。
(2)傳統基金的TA系統面對的用戶是以理財為目的的申購和贖回,因此每天清算的交易筆數要求也只有幾萬到幾十萬即可滿足。但餘額寶的業務模式里,支付寶用戶的每一筆消費,都會轉化為一次基金贖回,又加上海量潛在用戶群,每日清算筆數將會是傳統模式的百倍甚至是千倍。
2. 直銷系統和TA系統的融合。
傳統的直銷和TA是分別獨立的系統,但對於接入支付寶這種入口交易空前頻繁、數據量極為龐大的需求而言,傳統的分離式文件交互方式不能滿足效率和優化利用資源的要求。因此,項目組提出了功能整合、功能簡化、當前庫和歷史庫分離的技術結構。讓直銷和清算系統使用同一套資料庫,來避免數據拷貝帶來的業務時延。
3. 7×24小時的基金直銷系統。
由於渠道的原因,傳統基金直銷系統的大多數開戶出現在銀行的工作日。因此系統能做到5×8小時即可滿足大部分客戶的需求。但互聯網的屬性是7×24小時,因此系統也應具備7×24小時不間斷的服務能力。
4. 支付寶與天弘基金雙方的數據傳輸與系統交互。
餘額寶的直銷和清算系統會部署於天弘基金在天津的數據中心,而支付寶的「餘額寶」系統部署在杭州,雙方之間的通信協議,遠距離數據傳輸面臨很大的挑戰。
這樣,根據早期建設需求,餘額寶一期系統的架構和系統容量規劃展開了序幕。
一期系統建設
距離上線時間只有不足3個月,樊振華和系統開發商金證科技的技術人員進行了緊張的架構工作。經過數次討論,雙方有了初步的統一意見,並形成了建設目標。
1. 基於傳統的IOE基礎架構。
在如此短的時間內,有很多功能優化、業務流程更改等開發工作,再配合相關的測試,控制改動的範圍。因此基礎架構決定採用傳統的HP/IBM/Oracle/EMC方案,靠使用高端硬體設備的方式,提高一期系統的整體容量和性能。
2. 直銷和TA的系統整合。
(1)為減少直銷系統和TA的數據傳輸延遲,決定兩個系統使用同一套資料庫架構。
(2)為避免單點故障引起的業務中斷,應用層的直銷和TA平均分布在每台伺服器上,確保每個應用伺服器的角色具備可替代性。
3. 跨省的MSTP專線鏈路。
天弘基金清算和交易中心在天津數據機房,通過架設兩條4M的MSTP專線,連接到支付寶杭州數據機房。兩條專線之間互為備份,確保通信鏈路安全。
一期系統的架構如圖1所示。從中可見,支付寶實時開戶、申購和贖回等實時請求,與每天的離線對賬文件,都通過MSTP專線與一期系統進行通信。其中實時請求通過RADWARE硬體負載均衡分發到兩台前置機,前置機在做完報文解析後,將請求發送到XP的消息隊列。然後由BP以主動負載均衡的機制,從XP中取出相應請求進行處理,處理結果保存到後端資料庫中。
圖1 一期系統構架圖
幸福的煩惱
然而,在一期系統上線以後,面對業務量暴增的情況,系統遇到了瓶頸同時也出現了新的問題。
2013年6月13日,一期系統如期上線,業務量遠超預期,給系統來了一個「下馬威」。上線後數分鐘內就達到了18萬的用戶。在2013年6月18日晚上,餘額寶的用戶量已突破了100萬。2013年6月30日,餘額寶用戶數達到251.56萬。
在如此高速的業務增長壓力之下,一期系統開始面對前所未有的直銷和清算壓力的衝擊。這個新建的系統,是否能支撐起如此大的容量衝擊?什麼時候系統會達到瓶頸?這些問題,懸而未解,讓樊振華陷入了深深的危機感中。經過了數個失眠之夜後,他還沒找到解決問題的辦法,但他清楚地知道,再這樣下去,一期系統將會很快面臨瓶頸,成為業務增長的絆腳石。
樊振華的擔憂很快變成了現實,隨著用戶量的暴增,資料庫的負荷越來越高,實時請求的響應時間開始變緩。清算時間由最初的半個小時慢慢地變成一個小時、兩個小時、四個小時……清算系統每天會在凌晨收到支付寶最後一筆確認文件後開始清算,天弘基金的後台運營人員會等候清算出結果以後,發送給監管行和支付寶。隨著這些人回家的時間越來越晚,抱怨聲開始出現,樊振華的壓力也隨之增大。
系統的擴容勢在必行。然而,當樊振華收到金證科技發來報價表,打開第一頁時,他驚呆了。如果依然使用IBM/Oracle/EMC的傳統架構進行擴容,要達到預定目標,僅僅硬體設備採購及中間件的Licence費用就達到了數千萬元人民幣。這個數字對於樊振華來講,甚至對於天弘基金這家公司來講,是一個天文數字,超過了這家公司以往所有對於IT投資的總和。並且設備採購到貨就要一個月以上,想在一期系統瓶頸出現前完成擴容幾乎不可能實現。
傳統的路線走不通,就要找新的方法。當他得知阿里雲計算作為一家雲計算服務提供商,使用雲計算支撐了海量的互聯網企業及阿里集團自身業務時,樊振華開始和阿里雲計算進行接觸。2013年7月,樊振華組織阿里雲、支付寶、金證科技的人一起探求解決方案。最終經過慎重思考,樊振華心一橫,說了句:「不要再討論了,上雲,上阿里雲!」
上雲吧,騰飛
上雲之路,困難重重,舉步維艱。
上雲並非一句話那麼簡單,使用雲計算支撐當時國內最大的基金直銷和清算系統,前無古人,但開弓沒有回頭箭。樊振華召集了支付寶、阿里雲、金證科技的人一起,啟動將直銷和清算系統整體遷移到雲計算架構的二期系統。
阿里金融云為二期系統提供了的雲計算服務有ECS(彈性計算服務)、RDS(關係型資料庫服務)和SLB(負載均衡服務)。這三個服務分別對應於一期系統中的HP和IBM伺服器、Oracle資料庫和硬體負載均衡設備,但這三種服務的單個實例的性能和容量,都比相應的物理設備小上一大截。如何用單機性能更小的雲計算服務來支撐那些單機性能更強都難以支撐的系統呢?經過深入的了解,樊振華在心中已有了答案:「蟻群戰術」。
俗話說「三個臭皮匠,頂個諸葛亮」。「蟻群戰術」就是要充分利用雲計算服務的快速部署能力(5分鐘內可以創建數百台ECS)、彈性伸縮能力和安全穩定等特性,使用水平拆分演算法將應用系統水平拆分為數十組甚至上百組平行運行的小系統,這些小系統組合起來可以支撐起海量的請求和超高的性能。
此時已進入到2013年7月中旬。按照對一期系統運行狀況趨勢的評估,一期系統的容量在沒有任何運營推廣活動的情況下,只能支撐到9月份便會面臨瓶頸。在理清楚二期系統的性能和容量設計目標時,樊振華又接到了新的壓力:天弘基金和支付寶管理層已決定餘額寶要參加阿里「雙十一」購物狂歡節,這對於支撐後台的技術人員來講,絕對是一場惡戰。很快,傳來了支付寶對天弘提出的雙十一支撐要求:
1.
實時請求的響應要超過1000筆每秒;2.
清算系統要支持單日3億筆交易清算,清算時間不得超過150分鐘;3.
2013年10月份支付寶會展開相關運營活動,系統必須在10月份前上線。面對這樣嚴酷的要求,且只有兩個月的系統改造時間,項目組遇到了巨大的困難。
1. 如何進行系統水平拆分?
按照「蟻群戰術」,需要將原有系統的業務邏輯水平拆分成多組小系統。而如何才能保證拆分儘可能平均和拆分後的擴展性是繞不過去的難點。水平拆分依據哪個欄位來拆分,需要根據業務特性慎重考慮。一個細節考慮不到會導致全盤皆輸。
2. 將Oracle替換為MySQL。
無論是單機性能還是功能,MySQL都無法與單機的Oracle匹敵。使用MySQL代替Oracle,原有的存儲過程該怎麼辦呢?一些涉及多表join的操作在MySQL下執行效率較低該如何解決?工作量有多大?沒人清楚這一系列問題的答案。
3. 數據遷移工程浩大,難度極高。
一期系統部署在天弘基金在天津的數據中心,而二期系統卻部署在阿里雲在杭州的節點,如何做到無縫割接?並且考慮到互聯網用戶的用戶體驗,一期系統和二期系統在上線期間,不允許出現業務中斷,項目組必須在大數據量、異構環境、遠程遷移等複雜環境下,實現無縫遷移。做到上線過程最終客戶無感知。
4. 直銷和TA系統的資源爭搶問題。
一期方案將直銷和TA進行了融合,來解決數據交互問題。但由於傳統的TA與實時請求在不同時段運行,所以採用了主動爭搶機制的負載均衡及貪婪式的CPU佔用,以保證充分利用硬體資源完成業務清算。這在傳統模式下沒有問題,但一期系統進行合併以後,TA和實時請求的應用系統部署在同一組伺服器上,每次TA系統啟動清算的時間段,會嚴重影響實時請求的響應時間,甚至造成響應失敗。
5. 整個架構保持兩年以上系統擴容能力。
上雲後的系統必須能夠滿足業務量飛速高漲的情況下,可以根據業務量的大小做到無縫升級。兩年之內,不能因為擴容而改變系統架構。在保證擴容性的前提下,經濟和投入必須控制在合理範圍內。
這些問題,不管是樊振華,還是金證科技,在分散式系統和雲計算這個領域,雖然了解很多,但真正動刀槍,還是第一次。即使阿里雲和支付寶的技術人員,在這麼短的時間內,要解決這麼多難題,也都不禁捏一把汗。
走投無路,背水一戰
樊振華清楚自己已沒有退路,只有往前走才是出路。他召集阿里雲、天弘基金、金證科技和支付寶的技術人員在閉關室進行封閉式開發,一場艱苦的戰役就此打響。
「管不了那麼多,這些問題只能一個一個解決。」樊振華每次面對棘手的困難時總會說這麼一句。最終困難都被解決了。
1. 系統水平拆分。系統水平拆分的基本原理很簡單,就是按一個業務欄位,如支付寶協議號作為拆分依據。對欄位取哈希值以後根據拆分虛節點的個數進行求模。這樣就可以簡單地將所有請求拆分成多份。
在二期系統的拆分過程中,經過測算,需要使用50組業務節點,但在拆分時,考慮到擴展性,並未簡單地拆分成50份,而是拆分成1000份,然後每個節點處理20份數據。這樣做的好處是將來如果系統遇到瓶頸,需要擴容時,不需要對拆分演算法進行修改,而且數據平均遷移時只需要以庫為級別進行,從而避免了拆表。
2. 去Oracle。首先是將存儲過程等MySQL不支持或支持不好的資料庫邏輯上移到應用中。
其次要將複雜度比較高的SQL語句進行拆分,變成多條簡單的SQL語句,從而提高MySQL的執行效率。
阿里雲的RDS提供的慢SQL查詢功能,可以將整個系統執行效率比較慢的SQL呈現給用戶,幫助用戶優化SQL語句。
3. 數據遷移。數據遷移是這個項目的重頭戲,遷移過程中使用全量+增量+數據訂正+並行運行檢查等幾個階段完成。
二期系統在生產環境部署完成後,將在天津的一期系統的全量數據打包,按照指定拆分演算法拆成1000份以後,通過專線導入到二期系統中。導入以後,將天津的一期系統前置機轉發服務打開,將所有實時請求轉發到二期系統,這樣兩個系統同時處理請求。然後,在交易日之後,以一期系統為準,將二期系統中的數據進行訂正和補全。這些所有的操作必須在24小時內完成是遷移成功的必要條件。
數據遷移成功之後,兩個系統實際上在並行運行。需要使用腳本每天對比兩個系統中的數據,連續2周數據對比無誤以後,由支付寶將請求地址從一期系統切換到二期系統,整個遷移才算完成。
4. 直銷和TA的再次分離。藉助雲計算快速靈活的機制,將直銷系統和TA系統的應用邏輯層進行完全分開,分開後的直銷和TA系統分別運行在一組ECS中,兩套系統後端連接同一套的RDS資料庫服務。這樣既能保證TA和直銷系統在應用性能上不會發生爭搶,又不會發生數據傳遞問題。
5. 擴容性保證。除了在水平拆分演算法時就採用雙重映射的機制來保證架構本身的擴容性,還充分利用了阿里云云服務可以無縫升級的特性,來進行容量保證。
以RDS資料庫為例,阿里雲提供了新1型到新7型等7個型號,性能逐漸增強。最終選擇了新5型作為資料庫伺服器,並沒有一步到位採用最高型號。這樣當系統出現瓶頸時,就可以通過將所有RDS從新5型升級到更高型號來將系統容量翻倍。
圖2 二期系統構架圖
這種架構(圖2)將清算和直銷的集群分為兩組獨立的集群,但使用相同的RDS資料庫服務,既避免了在應用層面的資源爭搶,又可以做到數據的共享。其中,實時請求會先到達4個互為冗餘備份的SLB(負載均衡),避免SLB單點故障。SLB將請求轉發給5台前置機,前置機會按照拆分演算法,將該請求路由到相應的節點進行處理,該節點處理完畢後,數據保存到改組對應的RDS資料庫。而每天的對賬文件則通過文件伺服器進行拆分,然後清算系統的每個節點主動取出自己處理的文件進行清算處理,再保存到資料庫。
歷經磨難,涅槃重生
經過兩個多月的封閉式開發,在上線之前,二期系統進行了嚴格的壓力測試,測試結果讓樊振華懸著的心終於放下了。
TA系統,可以在6400秒內完成3億筆訂單的清算並將清算結果返回給支付寶,完全符合清算時間不得超過150分鐘的要求。對開戶的實時請求,項目目標要求達到1000筆/秒。壓測的數據輕鬆達到5000筆/秒,並且具備11000筆/秒的儲備能力隨時可放開。
二期系統終於在2013年9月26日上午正式上線成功。在上線的前一天,一期系統每天完成清算需要8個小時,而上線當天,二期系統完成了第一次清算,只用了不到30分鐘。這個結果讓那些經歷多個不眠之夜的後台運營人員眉開眼笑,終於可以晚上回家睡覺了。
圖3
實時請求的響應時間實時請求的響應時間老系統為180ms,上雲以後,平均130ms,效果十分明顯,如圖3所示。
萬事俱備,只欠東風,只有經過「雙十一」海量交易量的摧殘,才能驗證系統是符合設計要求的。
2013年11月11日,餘額寶首次參加「雙十一」大促,完成1679萬筆贖回,1288萬筆申購的清算工作,成功為639萬用戶正確分配收益。當天處理了61.25億元的消費贖回,119.97億元的轉入申購。完成這些所有的清算工作,系統只用了46分鐘。
雲計算是萬能的嗎?
這一路走來,直銷和TA系統經歷了分開、合併、再分開的演進路線,讓樊振華想起一句話「天下之勢,分久必合,合久必分」。過去這麼多年,以IOE為主的集中式計算已告一段落,在這個互聯網的時代,雲計算和分散式的結合代替集中式計算已深深植入他的腦海之中。
此時的樊振華,已和一年前的他截然不同——一年前,他還在為各種硬體選型、採購流程而忙碌。但一年後,他更喜歡在人們面前談起的是雲計算、大數據、分散式、用戶體驗、互聯網的IT架構等名詞。
具備強大水平擴容能力的二期系統,足以讓這個飽經歷練的老兵高枕無憂,休息一陣子,再也不用擔心系統容量和高並發的問題。但有一顆種子,在樊振華的心目中開始發芽:如今這個二期系統已不是簡單的直銷和清算系統,每天沉澱在50個資料庫里的海量用戶和交易的數據量在暴漲,如何存儲這些數據?如何使用這些數據?該如何才能產生最大的價值?
未來如何發展?
有了這顆種子,樊振華休了個短假,他又開始了新的征程,投入了大數據的懷抱,這一次,他選擇了阿里雲提供的ODPS(開放數據處理服務)來作為自己的大數據平台。ODPS目前是阿里集團進行離線數據處理的平台,支撐了阿里金融、淘寶等多家BU的大數據業務。有了這個平台作為後盾,樊振華清晰了很多,他腦海中復現了一幅畫面:在不久的將來,通過對目前沉澱的海量數據的分析,可以把握上億用戶的理財需求及不同的風險接受能力。而天弘基金,根據這些客戶的情況,提供更多更豐富的理財產品。或許到那一天,讓天下所有的人享受到符合自己的理財服務真不是夢想了。
-----------------2015.10.15更新-----------------------------------------------------------------------------------------------------
也正是餘額寶徹底了打破了整個傳統金融的模式,給整個傳統銀行、證券基金公司、互聯網公司都帶來了巨大的影響。給像A這樣的理財小白也帶來了翻天覆地的生活變化。對此A一直心懷感恩,感謝這個時代,這個互聯網金融時代的到來。
然後互聯網金融的本質並非名詞那麼的高大上或者令人不可捉摸,圍繞餘額寶背後的產品其實是天弘基金髮售的一款貨幣基金,因為貨幣基金有相對很小的風險,同時收益又比傳統的定期活期存款收益高,因為受到了廣大小白的歡迎,而餘額寶的意義再不僅僅是收益這麼簡單,它創造了一個時代。
包括以後的P2P、股權眾籌、產品眾籌等都陸續火了起來,互聯網金融也不再只是完成taobao上購物支付那麼單一的功能,從本質上來說,它解決了用戶的金融需求「投資、融資、支付」。
投資:就是資金充裕的人想讓錢生錢(像傳統的存款、保險、國券、高利貸也是投資的一種方式);
融資:缺錢的人需要籌集更多的錢,融資則需要付出成本,比如借貸的利息和手續費,其實就是用錢買錢;
支付:完成交易的貨幣流動手段,金錢的本質功能。
而餘額寶就是完成了互聯網金融投資的這一步,讓資金盈餘的人都能夠錢生錢。
而投資和融資都是相輔相成的,投資可以讓錢生錢,融資可以讓資金短缺的人籌集到錢,只有兩個功能都完成之後才能叫一個完整的互聯網金融整體。
相對的,支付可以獨立於投融資的活動,比如我們平時在taobao上的購物,整個活動沒有涉及到投資或融資的功能。
而我們再反觀傳統金融,傳統的金融機構負責中介的角色,負責為金融市場提供流動性。比如銀行,有錢的人可以將錢存入銀行賺取利息,銀行將款項放給資金短缺的人,缺錢的人需要支付一定的利息。
而傳統金融機構或者傳統金融模式區別於互聯網的最大地方,就在於信息的不夠公開透明,很多時候在完成一筆投融資過程,需要有很多的中間方介入,也有層層環節導致融資需要支付的利息較高,投資收取的利息較低等情況。
此外,由於投融資本身也要承受各種各樣的風險,比如投資者擔心資金收不回來,融資者被騙上當需要支付高額的利息等情況。這些弊端都需要互聯網金融更好的來解決這些問題。
-----------------2015.10.21更新-----------------------------------------------------------------------------------------------------
在餘額寶出現之前,A一直都沒有關注過理財,大部分的工資收入都放到了銀行里。但A也會覺得跑不贏CPI上漲的節奏,所以有一度也在銀行看看銀行定期存款,當時一年定期3%的收益在A心中說實話真的提不上叫理財,而銀行推出的5%的理財產品都是5萬起的,對於A來說門檻又比較高。
-----------------2015.10.27更新-----------------------------------------------------------------------------------------------------
意料之外的機遇
也就在這個時候A的同學CJ在杭州的一家P2P公司上班,CJ給A介紹了下自己公司的產品,介紹了下P2P是什麼東西,是怎麼樣的運作模式,還有高達10%收益率的理財產品,這對於之前一直覺得8%就很高的A來說簡直不可思議。而這家公司的創始人JH也是從支付寶出來的,聽CJ講JH是浙大金融畢業的,大學一畢業就進入了阿里巴巴,那時的阿里才只有兩歲。對於這樣的過去,JH感到很慶幸,在阿里修鍊了8年後,JH離職去了上海的一家支付公司發展,在上海的這家支付公司兩年里,JH負責做B2B理財交易平台,通過多年的互聯網經驗,JH發現了80後決定了互聯網市場需求。就如同QQ在80後的交友年代發展,網購 在80後有收入階段崛起,那麼若干年後,理財一定是有積蓄的80後面臨的最大需求。JH認為理財B2C交易平台未來市場潛力無限,一定會成達到萬億級的體量。擁有過兩家企業提供的大平台和發展空間,啟動了很多前人沒做過的項目,這樣開拓性的經驗讓JH受益匪淺。經歷了企業從起步到壯大,人員從幾十到幾千,JH生出了一股創業的衝動。抱著發展理財B2C交易平台的念頭,JH離開了上海返回了杭州。開了這家P2P的互聯網金融公司。
A聽了CJ介紹了公司的背景之後,覺得這家公司應該還比較靠譜。剛開始就在平台上買了5萬的理財產品,平均一天大約就有10多塊的收益,這比餘額寶高多了。而這時候A在新聞上看不到了不少P2P相關的負面報道,比如XX公司老闆又跑路了之類的事件。對於A來說,還是有些擔心這樣的風險。
觀察了兩個月之後發現這家平台都在穩定運營,用戶數也在急速上升,A在國慶前後搞活動的這次機會又多買了10萬。有的時候風險就是與收益相互存在,結合自己評估風險的能力,再去投資自己能夠接受的最大損失。-----------------2015.10.29更新-----------------------------------------------------------------------------------------------------
這一天,一個固定電話打到了A的手機上,顯示是來自杭州的26888888。A還在家靜靜的看著電影,沒有多想就接了電話,對方是一個成熟的男人聲音,「你好,請問是A嗎?我是阿里巴巴大數據部門的負責人,不知道你最近有沒有關注阿里這邊的工作機會呢?」
在A的心底深處,一直想去阿里這樣的公司去鍛煉下,希望能夠見識下目前國內數據做的最厲害的公司都是在做什麼,怎麼做。包括以前已經耳聞目染了很多阿里媽媽、阿里雲的大牛分享的關於大數據框架、推薦、應用等各種各樣的案例介紹,聽到有人來邀請去阿里,頓時有些激動不已。
A心裡有些激動,回到「是啊,之前一直挺想去阿里的,就是一直錯過了各種各樣的機會。」
那位成熟的男人繼續說道,「我也是因為我們部門的一名研究員,關注到你的微博,覺得你寫的東西都比較有深度,對數據分析這塊也有很多思考,而且也關注到目前國內數據分析領域最前沿的技術和理念。也聽說你之前也做過不少數據分析方面的網站,都效果還不錯。想請你到杭州來見面聊一聊。」
A一口答應了。
周二一早,A就坐上了去杭州的高鐵,到了東站打車直奔西溪園區。令A感到詫異的時,一路上A看到了公交車主動禮讓行人,這一點讓A對杭州留下了很深的好感。還有聽說西湖的風景也不錯,希望能夠面試完能夠去看看。
到了西溪園區,第一眼的感覺就是高大上。沒想到公司園區這麼大,果然是國內首屈一指的互聯網公司。來到阿里,說實話對於A來說還是有些小激動的。之前也在來杭州之前在網上也看了不少網友分享的關於來阿里面試的經歷,也有阿里面試負責人分享的面試中的技巧。
A自己總結在面試過程中,一般面試官主要觀察應聘者的三方面:現在的能力如何,未來的潛力如何,以及人品如何。第一因素是最重要的,因為後面這個很難在面試第一次就能一眼準確的判斷出來,包含太多的人為因素在裡面。所以如何想做好面試的準備的話,建議把「現在的能力如何」這方面好好準備一下,把自己之前做過的項目、案例和成功的數據分析總結一下。之前A有個同學,能力很強,筆試和初試評價都很高,最終終試的時候評價特別低,就是被判斷覺得潛力不夠,沒有鑽研精神,對新技術新領域沒有興趣,不願意深入思考,不願意主動學習。
總有同學會問類似的問題:你們公司是不是特別看重學歷和畢業院校,是不是只招211,985高校的學生?我第一次聽見這些問題還好,後來經常聽見類似問題。
我發現一個規律:問這些問題的人,一定不是985或者211高校的學生,而且問這些問題的人,內心又有著無限的自卑,總是覺得別人會看不起自己。
其實換一個角度看就會明白,筆試和面試是為什麼?不就是在篩選么?重點大學已經幫助做了一些篩選了,所以某些公司只看學校也是正常的。關鍵在於自己有實力,公司錯過了,是公司的損失。
還有應聘者非常強調自己的學習能力,說自己最大的優勢就是學習能力強。在所有同學的簡歷中,絕大部分的同學都會寫自己的學習能力強,所以這個不要做為一個特點。
過程中,一再重點強調自己學習能力強的學生,一般都是能力不行的,當自己能力不夠強的時候,才會這麼強調自己學習能力強。聰明一點的學生,都不這麼說,他們只需要講述一些例子,讓面試官得出一個結論:這個學生學習能力強,適應能力強。
很多公司面試,其實沒有筆試環節,大多是通過簡歷篩選,然後通知面試。一些同學希望自己的簡歷脫穎而出,搞得很特別,出發點不錯,但經常適得其反。因為你不知道面試官是什麼性格,你搞得花花綠綠,有人覺得漂亮,也可能有人覺得太浮躁。
如果你條件還可以,簡歷格式還是普通一點比較好,不要劍走偏鋒。也不要用招聘網站上模版一樣格式的簡歷,很容易被忽略掉的。比較好的簡歷,不求高端大氣上檔次,但求低調奢華有內涵。建議不要有表格,用word寫個兩頁比較合適。
內容方面也有要考慮的地方,有大面上的介紹,還要有重點的描述。把一些關鍵詞放進去,否則搜索篩選簡歷不會進入視線。然後重點介紹自己最擅長的部分,一定是最擅長的,因為面試官一定會問簡歷上的相關問題。
如果做好了,簡歷可以做為一個鉤子,引導面試官問你一些問題,你要是準備好了答案,在答案中再準備一個鉤子,讓面試官問下一個問題……
還有一個最關鍵點,針對你要面試的公司做簡歷修改。一般公司都有崗位描述,他們需要什麼樣的技能,你就重點描述什麼樣的技能。不要所有公司投遞的簡歷都是一樣的。
還有的同學,除了準備點技術問題以外,其他的一概沒有準備。不知道公司背景,不清楚公司業務,然後嘴上還會說,對這個公司非常感興趣,非常希望加入這個公司……這種人很容易就被刷掉了。其實花半個小時去了解公司背景和主要業務,哪怕只看一些新聞,也會增加面試官的好感。
如果希望加入一家公司,建議去多用這個公司的產品,關注公司所在的行業,經常看看這個公司的新聞,想辦法去認識一下公司內部的人,了解一些情況。沒有認識的人怎麼辦?現在微博、微信這麼發達,甚至還有陌陌、來往,你還找不到人么?
還有A來阿里之前,也請教了不少學長,了解了之前他們來阿里面試的經驗教訓,比如需要自我介紹、有什麼可以證明你的數據分析能力強、了解哪些機器學習方法、為什麼會選擇數據分析崗位、以後的職業規劃是什麼、以及薪資方面該怎麼去談。
到了指定的會議室,A見到了那個熟悉的成熟男人的聲音。見到本人,還是和A印象中的形象不太一樣,面試官顯得很自然,聊了聊之前A做過的case,就聊到A怎麼堅持經常研究數據相關的技術和內容的時候,A眼中泛起了亮光,說自己對數據分析這塊特別感興趣,本身自己數學方面也是有些天賦,然而也相信數據能夠改進公司的經營狀況,數據對於未來社會的重要性。數據其實一直都有,只是之前沒有辦法利用起來(當然近些年的數據量也絕非10年前可比,這兩者是互相促進的)。傳統來說,大家都是用資料庫存儲關係型數據,而傳統的關係型數據設計上有一些限制,比如因為一致性無法方便地拓展。就算不管用不用資料庫分析,也大多都是單機,數據大一點也許要跑好久,海量數據就基本歇菜。而且數據一旦是非結構化的,比如網路的訪問日誌,甚至爬蟲爬來的網頁本身,都沒法很好的用傳統的分析手段有效分析。其實也不能說完全不能,只是手段未免繁瑣,需要耗時耗力的預處理,分析起來可能也要專家經手或者難以維護。對一般的公司,那些非結構化的海量數據,類似貧礦,不是沒有價值,只是如果提煉成本大於結果,那挖掘就沒有意義了。10年前,說大型數據分析你想到什麼?銀河號計算機?基因組網格計算?都是高帥富的手段。那時候要分析海量數據,沒什麼屌絲手段。那時候分散式計算的設計和開發模型也遠比現在MapReduce這樣的簡化模型要複雜,稱得上火箭科學。我沒有考證過是誰「開啟」了大數據時代,不過在我看來,MapReduce模型,非結構化非強一致性數據系統之類的,這些屌絲手段的誕生,讓火箭科學變得象烤串一樣人人都可以負擔得起了。你不用租銀河超級計算機,不用找專家來費勁規範化並導入數據再分析,不用設計複雜的分析軟體,不用IOE(IBM/Oracle/EMC)的產品(其實很多情況下,數據太大,就算IOE,常規手段也撐不住的),只要經濟實惠的普通pc,買個幾百上千台,架上hadoop,就能開挖數據了。而且MapReduce的編程模型也極其簡單,數學系統計系出身的非碼農也能隨時學會沒商量。再加上Hive之類的輔助系統,就連你家市場部妹子都能隨時敲個SQL看看當天的用戶反饋。現在的大數據,不是火箭科學,而正相反,是屌絲技術,人人都用得起的技術。正因為他的屌絲性,所以以前完全無法利用的貧礦,非結構化,噪音超多的海量數據就可以被很多屌絲公司有效利用了。通過分析,你可以挖出所有用戶的口味偏好並准實時更新推薦列表,你可以知道搜索關鍵字的熱點變化趨勢,你可以知道正在訪問某網站的某用戶更適合看什麼樣的廣告。這些在以前,如果不是專門花大價錢找牛人搞系統,買牛逼的ETL和分析系統,單用經濟實惠的軟硬體方案解決是無法搞定的。這就是大數據的真正意義。如果能夠對數據進行合理的開採,那就是財富,來促進業務的發展。
對面成熟的面試官聽完,內心也被A的這股熱情感染,分享了下自己之前在大數據這塊的從業和創業經歷,之前一直在wind做股票類數據,A因為之前想通過大數據來預測股票,所以也了解到wind,在國內市場wind基本上包含了90%的中國證券公司、基金管理公司,wind自己也有一套大型金融工程和財經數據倉庫,A隱約的感覺到以後金融領域的數據會成為大數據的一個很熱的點。後來出來了在外面創業,專門給政府機構和朋友公司做市場調研和數據分析培訓。A說道,自己以後也想通過這些方式來推動整個數據行業的發展。
聊了大約2個小時,面試官安排HR再來溝通下,進來的HR看起來是個外表很清秀的男人,HR就聊到,之前在上家公司主要做什麼,如果能來阿里的話最快能多久到崗。A隱約的感覺到面試要拿到offer的節奏,A自己也說道,如果就是不能來阿里,自己也會在數據分析這塊領域好好做,通過數據分析來改善公司的業務。HR聽完之後,直接和A說了下這個崗位的級別和薪資,問了下A還有什麼問題,A心中突然很開心。一時半會也想不出什麼問題,表達了下感謝之情。
快到下午傍晚的時候,整個面試的環節終於結束了。A深深吸了一口氣,如釋重負,第一個給老媽打了個電話,通知了好消息。
回到上海,A面臨著一個新的問題,就是如何面向ZJM,如何說明自己的這個情況。
-----------------2015.10.31更新-----------------------------------------------------------------------------------------------------
第二天,A早上主動和HR聊了下這個情況,HR回復下午具體談一下。下午,HR還有ZJM,一起約到樓下的咖啡廳,聊了聊,表示都希望A能夠留下。A自己內心深處去意已決,希望自己能夠在阿里這樣的公司給自己更多的鍛煉機會,所以大家聊的也很愉快。ZJM讓A做一下工作交接,然後把數據部門以後可能會怎麼發展交代一下,希望A以後多來坐坐,A自己內心也知道,如果換了公司換了城市,就相當於換了一個新的環境,一個新的社交圈。
A把自己數據部門需要以後需要發展成多大的團隊,有多少數據倉庫工程師,多少ETL工程師,多少做演算法的,多少做數據分析以及數據產品經理都和ZJM說了一下,ZJM也表示希望A能推薦一些靠譜的朋友或者同事同學來。
辦完最終的交接和離職手續後,A眼看還有一周時間才去杭州報道,就選擇回了一趟老家休息下。
美好的時光總是短暫的,A背起了行囊,按照行政同事安排的酒店和路程,奔赴往杭州。
了解杭州,就要先了解西湖。西湖名聲太大,幾乎要掩蓋杭州其餘的一切,提及杭州,這是標誌性的符號。但西湖之外,畢竟還有良渚、南宋遺址、大運河,以文化眼光來看,這三項的質量都是世界級的。1、先秦的大遺址中,最受遊客青睞的估計還是四川的金沙、三星堆,但相較之下,良渚絕不遜色,其開發、保護、展示的理念,在國內稱是首屈一指並不過分。隨著良渚古城等越來越多的考古發現,良渚遺址已經從地域性的考古學文化類型升級成為探討中華文明起源最重要的史前大遺址。當然,由於良渚遺址一定程度上的專業性,其價值較難為普通遊客所了解,但相信不久的將來,良渚會像西湖一樣為人熟知。2、杭州先後為吳越、南宋兩代都城,在國內古都中,論其建都的資歷、時間、跨度都是三流的。但是唐宋之交,中國城市形制的大變革,卻是由開封和杭州共同完成的;南北之間,經濟、文化力量對比的最終改變,杭州也可說是起到了關鍵作用。今天可見的南宋遺址恐怕不多了,能見的幾處,在視覺上並不具有多強烈的震撼效果,但是要了解一座城市,不只是看看山水,更要看山水背後的人文歷史。3、杭州是京杭大運河的起訖點,但保存完整的遺存卻並不多見。良渚或許是死的,南宋皇城或許也是死的,西湖以一個文化的意象活在中國人的精神世界裡,那麼大運河則是實實在在地活在看得見、摸得著的日常生活里。(申遺運河的杭州段有很多本地人不熟知的地方,除卻拱宸橋,還有祥符橋、塘棲廣濟橋、鳳山門、西興、洋關等等;前幾日去看閘口白塔,又發現一處龍山閘;西興第一次去,也是很有風味的古鎮,周邊環境雖已無古風,但整治之後,還是有望成為杭城錢江以南有份量的遺存。)以遊客心態看杭州,除了西湖外,起碼還有良渚、南宋遺址、大運河這三張世界級的名片,實際上這三處也都是杭州申報世界文化遺產的項目。
但是遊客的眼光只能支撐一次兩次的獵奇遊覽,之後要靠什麼愛上這座城市,對國內很多千篇一律的城市來說,這個問題是無解的。所幸杭州還是精緻的,在景點之外,你可以看到很多溫暖閃光的地方。比如公共自行車。杭州是國內最早推行公共自行車的城市,發展至今,已經有了一套國內最成熟的公共自行車系統,憑藉其極高的使用率、密集的網點分布、人性化的自助借還、低廉的使用費用(近乎免費)入選BBC評選的全球最佳公共自行車服務城市,並列的有倫敦、巴黎、華盛頓、墨爾本。能夠把一個公共項目,做成世界級的水準,能和傳統的旅遊業、「時髦」的環境保護、現實的交通問題等等結合起來,給出這樣的解答,杭州是一個典範。比如免費的博物館。2004年浙江省博物館率先對遊客免費開放,成為國內最早免費開放的省級博物館,並且在幾年以後掀起了全國範圍內的博物館免費風潮,並最終落實為國家政策。免費不是省去幾塊錢的門票,而是在這背後,可以看到對文化教育的重視。(浙博、杭博、絲博、良博、浙美、南宋官博都是常客,不贅述了,前日發現玉皇山下竟還有個杭幫菜博物館,山水之間,佳肴美饌,不亦樂乎。)比如一流的圖書館。每到一座城市生活,要去辦一張當地的借書卡,見過首圖、廣圖、鄂圖好幾個更新更大更「現代」的圖書館,但在讀者體驗上,沒有一個比得上更老更舊也更小的杭州圖書館,足夠的借書數量、無處不在的無線網路、細心的照明設計、精確的圖書定位、實用的電源設計、便利的自助借還、明確的功能分區……新館造好這麼多年,沒有見到很多面子工程那種不可避免的衰敗氣象,而是一直在變得更好、更完善、更人性化,對圖書館的管理、維護,以及開放服務的理念,就目之所及,國內沒有哪一個圖書館比杭圖更好。(浣紗路的杭圖老館,改造以後的老館非常舒適,甚至比錢江新城的館區更吸引人。原因很簡單,沒有錢江新城那種身處高樓的一本正經和嚴肅,而是隱藏在周邊的社區之中,自然純樸、非常親民。以前去澳門時羨慕澳門人有個很贊的隱藏在社區中的何東圖書館,現在覺得浣紗館也毫不落後。)比如讓路的公交車。國內很少遇見車輛在斑馬線前給行人讓路,但是在杭州,大概經歷了七十碼的慘痛教訓,交通部門花了很大的精力整治交通,今天在杭州過馬路,基本不用擔心汽車與行人搶道,甚至在西湖邊遇到過一次公交車在對面車道上停車禮讓行人,在太多城市感受過汽車橫衝直撞的驚心動魄之後,沒有理由不因杭州而感動。
比如運河上的巴士。運河一直是活著的,每天都有不計其數的輪船航行其上,而杭州的幾條運河巴士線路,不僅票價便宜,更讓人感到趣味的是利用文化遺產的本來功能來解決現實的城市交通問題,也正是因為這樣的水上巴士,讓人感覺城市是靈動的,人與文化遺迹之間、歷史與現實之間,是有關聯的。
另外,杭州是唯一一個時刻注目著太子灣的鬱金香、麴院的夏荷、滿覺隴的金桂、超山的梅花,並且總把這些花開花落當作新聞頭條的城市。其實要了解一座城市,要愛上一座城市,歷史底蘊、人文環境、自然生態當然十分重要,但是真正重要的是這個城市每天都有新的驚喜在等待你——你會發現有廁紙的公廁越來越多,發現斑馬線前越來越多私家車也開始禮讓行人,發現熟悉的小路旁新開了家博物館,發現圖書館的借書額度增加到20本,發現你曾經不滿的逐漸被改變,曾經期待的逐漸成現實——你會不停地發現那些平常生活中閃動的脈脈溫情,發現人與人之間的美好,感受到人與環境之間的和諧,感受到城市給人帶來的更多是幸福,眼中的杭州就是一個讓人感到幸福的城市。
A到了酒店,好好在杭州休息、大吃了一頓。
第二天,來到公司報道,公司HR安排了一天的入職培訓,有包含環境的熟悉、有哪些部門、有哪些規章制度、有哪些流程規範、阿里的前世今生、阿里的價值觀等課程。讓A印象最深刻的就是那段淘寶小二的錄音,播放的是一個客戶很急,不停的在罵小二,而小二怎麼解決這樣的情況。這讓A頓時覺得小二都做的很不容易,畢竟自己大學的時候也曾經試過做電話銷售,發現那段時間壓力都很大,每天回寢室倒頭就睡。而大數據開發的智能雲客服功能,這個功能真的是時代所需,太需要有這樣的服務來協助小二服務客戶,來給用戶帶來最快捷的服務指導,給產品帶來更好的用戶體驗服務。
接受完入職培訓和領完電腦和文具之後,師兄負責給A講解了下目前部門的具體情況,目前在做的事情。A感覺阿里和一般公司情況不同,首先在公司的氛圍上,整個公司很熱鬧,每個人都在忙著電話溝通或者在寫PPT或者在碼代碼,整體節奏感覺比之前的公司節奏都要快。第二就是同事之間的相處,更像是大學同學時期,相處的比較單純,討論的都是具體的業務問題。第三就是因為公司很大,所以在接觸高層的意見上感覺比較遙遠,阿里的18羅漢就像是人們心目中的英雄成為了傳說。這應該就是A來到阿里的第一印象吧。A在來阿里之前就聽大家說,阿里加班很多,阿里KPI很嚴重。來到之後,應該來說也是有自己的一番理解。
和在上海生活節奏不同的是,之前在上海一般6點大家就下班回家了。而來到杭州,大家晚飯基本都選擇在公司就餐,吃完出去散步下繼續回公司加班,這也許就是阿里的情況吧。剛開始A還是有些不太習慣,後來也漸漸適應了這種時刻保持工作的狀態。
接下來得兩個月,A開始了忙碌的工作,要開通的數據許可權,需要了解的業務模式,認識部門的各個同事,以及要制定自己試用期大約要完成的KPI目標。杭州的數據分析交流的機會還是比較少,阿里的數據分析交流也基本都是在公司集團內部。所以A平時在業餘的時間就趕緊把之前大神們講過的數據分析案例還有分享的分析方法、故事都學習了起來。而帶領自己的師姐,也是一個阿里的老員工,在阿里做數據分析已經有5年多,A細細觀察了師姐平時的工作,基本上也還是在支持業務的查詢工作。這個又遇到了大家之前遇到的問題,數據分析天天需要查基礎數據怎麼辦,數據分析師成了寫SQL還有什麼出路。像這樣的情況,A自己也在思考如何避免這樣的基礎數據查詢阻礙了自己的發展,幸好的是,還有師姐帶領著,所以一些業務部門來的需求師姐基本上都幫A寫好了,所以A很快就掌握了一些基礎數據的情況。而接下來主管要求A能夠參與到具體的項目中去,A先找到業務部門了解了下目前整個大的業務發展情況,以後的規劃和發展方向,以及現在需要做哪些工作。後面主管繼續給A安排了數據業務化、數據產品等方面的工作,A頓時覺得一下子工作量巨大,但自己心裡想像剛開始的三個月註定要辛苦一番。就這樣,A在這三個月過的很充實,也基本上沒有和外界有什麼聯繫。試用期結束,A回顧了一下自己這三個月的最大感覺,就是出現在阿里價值觀里的一條「擁抱變化」。包括時刻可能會換的團隊、同事,包括業務的發展方向,包括整個公司的組織架構變化,整個公司還是保持著創業團隊的風格和做事,並沒有因為大公司的條條框框所牽絆著,而自己作為一名剛入職的,要學會主動,沒有人會來給你安排工作,你需要自己主動去了解業務,了解數據,來給自己的工作做安排。這些都給A留下了深刻的印象。
-----------------2015.11.1更新-----------------------------------------------------------------------------------------------------
金融原來可以這麼玩
要說這一年什麼詞最火,無疑就是「大數據」「雲計算」「互聯網金融」,不管是傳統的銀行、金融機構,還是如雨後春筍般發展起來的P2P、XX寶、產品眾籌、股權眾籌、股票合買、信用貸款、車貸房貸等,大家都放佛看到了這塊藍海。如果你還沒有參與到互聯網金融來,感覺自己都out了。
互聯網金融是傳統金融行業與互聯網精神相結合的新興領域。從廣義上講,凡是具備互聯網精神的金融業態統稱為互聯網金融。而從狹義的金融角度來看,則應該定義在跟貨幣的信用化流通相關層面,也就是資金融通依託互聯網來實現的方式方法。
理論上,任何涉及到廣義金融的互聯網應用,都應該是互聯網金融,包括但不限於為第三方支付、在線理財產品的銷售、信用評價審核、金融中介、金融電子商務等模式。
而互聯網金融最早的概念提出者謝平教授認為,以互聯網為代表的現代信息科技,特別是移動支付、雲計算、社交網路和搜索引擎等,將對人類金融模式產生根本影響。互聯網金融模式在未來20年將成主流。
目前來看,互聯網金融包括第三方支付、P2P小額信貸、眾籌融資、新型電子貨幣以及其他網路金融服務平台。
所謂第三方支付就是一些和產品所在國家以及國外各大銀行簽約、並具備一定實力和信譽保障的第三方獨立機構提供的交易支持平台。在通過第三方支付平台的交易中,買方選購商品後,使用第三方平台提供賬戶進行貨款支付,由第三方通知賣家貨款到達、進行發貨;買方檢驗物品後,就可以通知付款給賣家,第三方再將款項轉至賣家。
目前獲得第三方支付牌照的企業累計已有223家 ,其中有我們熟知的支付寶、財付通、快錢、北京銀聯、快付通、匯付天下、拉卡拉、網銀在線、錢袋、盛大支付等。
P2P小額信貸是一種將互聯網、小額信貸等緊密聯繫的個人對個人的直接信貸模式。目前國內的P2P融資平台有宜信網、人人貸、拍拍貸等。通過P2P網路融資平台,借款人直接發布借款信息,出借人了解對方的身份信息、信用信息後,可以直接與借款人簽署借貸合同,提供小額貸款,並能及時獲知借款人的還款進度,獲得投資回報。
這種業務雛形可以追溯到最早的個人互助借貸模式:北美華人社區的「標會」或「台會」,親戚、朋友及社會團體之間通過小額信貸來解決對資金的燃眉之急。
眾籌融資,是通過社交網路募集資金的互聯網金融模式。眾籌,就是集中大家的資金、能力和渠道,為小企業、藝術家或個人進行某項活動等提供必要的資金援助。
眾籌的興起,源於美國的大眾籌資網站Kickstarter,該網站通過搭建網路平檯面對公眾籌資,讓有創造力的人可能獲得他們所需要的資金,以便實現他們的夢想。這種模式的興起打破了傳統的融資模式,人人均能通過該種眾籌模式獲得從事某項創作或活動的資金,使得融資的來源者不再局限於風投等機構。
新型電子貨幣如今在網路盛行,如比特幣。比特幣是一種無中央發行方的,基於網路運算產生的、開源的匿名新型電子貨幣。不同於早期電子貨幣形式(如虛擬貨幣,預售電子卡)。
它起源於2008年一位網名為中本聰(Satoshi Nakamoto)的黑客發表的一篇論文,描述了比特幣的模式。它是世界上第一個分散式的匿名數字貨幣,只能被它的真實擁有者使用,而且僅僅一次。支付完成後,原主人即失去對該份額比特幣的所有權。它更多代表的是未來一種貨幣發展趨勢。
互聯網金融有三個核心部分:支付方式、信息處理和資源配置。
支付方式方面,以移動支付為基礎。個人和機構都可在中央銀行的支付中心(超級網銀)開賬戶(存款和證券登記),即不再完全是二級商業銀行賬戶體系;證券、現金等金融資產的支付和轉移通過移動網路進行;支付清算電子化以替代現鈔流通。
信息處理方面,在雲計算的保障下,資金供需雙方信息可以通過社交網路揭示和傳播,被搜索引擎組織和標準化,最終形成時間連續、動態變化的信息序列。由此可以給出任何資金需求者(機構)的風險定價或動態違約概率,而且成本極低。
資源配置方面,在供需信息幾乎完全對稱、交易成本極低的條件下,互聯網金融模式形成了「充分交易可能性集合」,諸如中小企業融資、民間借貸、個人投資渠道等問題就容易解決。
總之,在互聯網金融模式下,支付便捷,市場信息不對稱程度非常低,資金供需雙方直接交易,不需要經過銀行、券商和交易所等金融中介。
在全球範圍內,互聯網金融已經出現了三個重要的發展趨勢。
一、移動支付替代傳統支付業務
隨著移動通訊設備的滲透率超過正規金融機構的網點或自助設備,以及移動通訊、互聯網和金融的結合,全球移動支付交易總金額2011年為1059億美元,預計未來5年將以年均42%的速度增長,2016年將達到6169億美元。
二、P2P小額信貸替代傳統存貸款業務
其發展背景是正規金融機構一直未能有效解決中小企業融資難問題,而現代信息技術大幅降低了信息不對稱和交易成本,使P2P小額信貸在商業上成為可行。
三、眾籌融資替代傳統證券業務
眾籌融資是最近兩年國外最熱的創業方向之一。2012年4月,美國通過JOBS法案,允許小企業通過眾籌融資獲得股權資本,這使得眾籌融資替代部分傳統證券業務成為可能。
未來互聯網金融將與大數據相互融合,達到與現在直接和間接融資一樣的資源配置效率,並在促進經濟增長的同時,大幅減少交易成本,簡化操作,提供一站式服務。
(1)雪球
也就是從這時候起,A才算是真正的進入互聯網金融,了解到金融的另一番面貌。身邊的同事、朋友聊的最多的就是你買了哪只股票、最近什麼股票又跌了、有沒有什麼樣好的投資理財產品等。這些聲音或多或少的影響著A,每天A也會打開同花順,挑了一些自己感興趣的股票關注了下,後來聽到WQ說雪球不錯,WQ在雪球上有個大號,有很多粉絲。A也在手機上安裝了雪球的app。最初雪球的網站上都是些美股方面的信息,後來添加了社交功能吸引了不少大牛的到來,以及後來還可以在雪球上直接開戶下單。
下面是引用的雪球創始人方三文的一篇介紹:
從開始做雪球的第一天起,我就常常被問及一個問題:雪球的參照物是什麼?每當被問到這個問題,我都有點為難。好像我們經常聽到的創業故事裡都有一個美國藍本。創始人對這個藍本進行「中國式加工」,成功做出一款屬於自己的產品。
但是雪球的確沒有美國藍本。我都有點不知道應該怎麼講我的創業故事了。所以我乾脆講講我作為一個普通投資者的故事吧。
一名普通投資者的需求
2006年,我還在另一家令人尊敬的公司工作,因為公司給我發了一點期權,我漸漸對投資股市產生了興趣。作為一名股票投資者,我有兩個基本需求。
第一,我要跟蹤我關注的股票,查看它們的價格漲跌、看跟它們有關的新聞,偶爾也看幾眼分析師報告。第二,我對別的投資者在想什麼、看什麼也很感興趣,我希望和跟我關注同一家公司的投資者交流,看看解他們對公司的看法跟我有什麼不同、他們的信息和思維有沒有我未曾觸及的地方。
當時我有什麼服務可選用呢?界面塞滿花花綠綠的「K線圖」的炒股軟體,根據編輯判斷而不是我的需求編排的財經新聞網站,擠滿了我素未謀面、但自稱有「內幕消息」的股民的聊天群,以及銀行向我推銷的各種號稱能滿足我「個性化需求」的投資理財產品……
我雖然接觸投資不久,直覺卻告訴我,這些服務都滿足不了我的需求。
既然如此,那我為什麼不自己做一個呢?
這就是我做雪球的出發點:我相信有這些需求的投資者遠不止我一個,並且認為有更好的方法來滿足這些需求。
如何個性化
現在是信息過載的時代。因此我首先要解決的,就是信息個性化的問題。
正如前面提到,我第一希望關注我感興趣的股票,第二希望關注我感興趣的人。因此信息個性化其實就包括了這兩方面:訂製化的信息(公司新聞、公告)和訂製化的投資者討論。
只關注自己感興趣的股票信息和用戶發言,無非是為了提高讀取信息的效率。因為雪球從一開始就是一個投資的、垂直的社區,我們有股票代碼這種天然的標準化標籤。所以我們無非是把和某家上市公司相關的新聞、公告準確並實時地送達到用戶面前,把用戶關注的人的發言一條不漏地推送給用戶,甚至允許用戶屏蔽他們不想看的人。
這樣,通過大家已經很熟悉的 follow 匹配關係,雪球就滿足了傳統財經網站無法滿足的信息個性化需求。
「有水平」的交流
如果事情真這麼好搞,也許我就不用做這件事了。完成了個性化以後,我又發現了一個新層次的需求。
事實上,幾乎所有人都傾向於只跟水平比自己高的人交流,比如大家都樂意跟微博上的「加V大號」對話、期待他們的回復。但你有沒有想過,為什麼「大號」們會願意搭理我們這些普通人呢?
我想大概是因為,世界上根本沒有可以用來衡量水平的靠譜標準。「水平」本身是一種主觀認知,它是動態而且個性化的。這有兩層意思:第一,沒有人能夠精通所有領域,在某一領域,他不懂的、你可能正好是專家;第二,你以前不懂的,不代表現在不懂;他原來懂,現在認識可能已經過時,你正好來補充。
這也是互聯網最牛的地方,它通過「眾包」、而不是幾個專業人士來解決很多問題。
而雪球作為一個藉助了互聯網這一優點的社交網路,我們能做的是,在儘可能完整客觀地呈現一名用戶的特點,並且保證用戶自由選擇的權利。你可以動態選擇自己應該關注什麼人,通過持續和他們交流,知道哪些人最可能解答你哪方面的問題。這也許是幫你找到「高水平」的人交流的唯一方法了。
補充一句,這也是為什麼在雪球,職業身份(「加V」)往往不太重要。我們相信專業和高水平與否,並不是和你的職業掛鉤的。
UGC 為什麼有價值
在創辦雪球之前,我曾經從事過8年的媒體工作,這個工作,主要是靠特定的人(記者),特定的工作(採訪)去接近真相。從事這個工作越久,我對自己離真相的距離,越來越沒有信心。同時,信息在傳播過程中,用戶的參與起到的校正、補充作用卻令我驚訝以至驚喜。所以我越來越傾向於認為:
信息在傳播的過程中一定不能斷開與發布者的鏈接,而最有價值的內容,往往是用戶產生的,這就是所謂UGC。為什麼UGC 必將比職業工作者生產的內容(PPC)更有潛力和價值?
讓當事人直接說話,而不是通過信息採集者轉述,可以縮短傳播鏈條,避免信息在傳播過程中的變形、延時;由於信息提供者數量驚人,UGC 在空間、時間都能實現超大覆蓋,完勝任何一家有財力實力的媒體;得益於信息提供者的持續參與,他們還起到了信息篩選和動態更新的作用,完勝任何一名勤奮的專業記者。
雪球是一個針對投資者建立的社區。我們的用戶生產內容還有一個潛在的「動機優勢」——用自己的錢投資的專業投資者,相比僅僅以投資服務為工作的人更專註,也有更強的動力去尋找高質量信息,所以更可能提供靠譜的內容。而出於「排雷」、對信息證實或證偽的需要,他們實際上也有很強的動力將信息分享出來。
仔細想想,投資者過去之所以依賴職業工作者發布的內容,很多時候並不是因為這些內容專業、高水準,而是因為這些職業工作者把持了發布渠道。但隨著社交媒體的興起,發布渠道開放給了所有人,用戶生產內容的時代來了。所有人都可以說,所有人都可以選擇聽誰說和不聽誰說。
當然,UGC 的繁榮也帶來了新的問題。用戶生產內容大部分是以碎片化形式存在的,信息多了之後,我們就發現,想看的新聞找不著,重要的公告可能漏掉了。於是雪球又用演算法、通過「信息-人-股票」的鏈接,將有用的信息篩選留存在用戶個人頁和個股頁上。
什麼意思?簡單來說雪球做了這兩件事:當用戶訪問別人的個人頁時,他能迅速看到這名用戶最擅長討論哪些股票;當他瀏覽一隻股票的個股頁面時,他能迅速看到關於這家公司最熱門、最精華的討論是什麼。這種機制能有效的關鍵,是用戶互動行為。用戶越多,生產的內容積累越多,雪球的價值就會越高。
雪球能幫用戶賺錢嗎?
說到這裡,你可能已經忍不住要問我,哥你說你做了個投資社區,那它到底怎麼幫用戶掙錢?
很抱歉,只能說這並非我做雪球的初衷或願景。如果你指望能從雪球上找到一個「高人」,他告訴你買某隻股票,你買入,立即收益翻倍——那麼,我不但建議你永遠不要加入雪球,也永遠不要進入資本市場,您還是更適合去拉斯維加斯。
有人可能對這樣的期待「習以為常」。因為在過去很長的時間內,投資服務行業的商業模式都是基於這種不切實際的幻想的:投資者出於讓別人送錢給自己的良好願望,把錢送給了別人,於是有了無數滿足這種「剛需」的投資服務機構和網站。
雪球是永遠無法滿足這種需求的,無論這需求有么多強勁。恰恰相反,雪球的存在,就是要告訴大家,這種想法有多麼一廂情願。
說到底,我做的其實是一個「社交投資網路」。它不薦股,依靠用戶生產內容,讓喜歡獨立思考的投資者都聚到這裡,一起研究公司、聊聊投資——這就是雪球。如果說我做了那麼一點創新,也許就是我選擇了用互聯網來做這些事吧。
哦對,這大概就是我的「創業故事」了。
雪球又融資了。
很多朋友對我表示祝賀。其實,融資沒有什麼好祝賀的,融資都是沒有辦法的事,說明沒有外部輸血公司還活不下去,不融資而公司賺錢才是值得祝賀的。從另一個角度看,投資人願意拿幾千萬美元投資上線將近三年,還沒有一分錢盈利的雪球,他們看中的價值會是什麼呢?我說說我的理解。
首先來看行業。雪球是互聯網在投資行業的一個應用。互聯網產品都是互聯網在各個行業的應用,比如QQ是互聯網在通訊領域的應用,微博是互聯網在媒體領域的應用。
現在,特別基礎的領域,比如通訊、搜索,都被大公司佔領了,現在新創業的公司,大部分都往更加細分垂直的領域發展。選擇不同的領域,很大程度上決定了互聯網產品和互聯網公司的商業價值。什麼是好的領域呢?一般的規律是終身需求優於階段性需求,比如交友是終身需求,結婚是階段性需求;高頻需求優於低頻需求,比如商務出行是高頻需求,休閑旅遊是低頻需求;高客單價需求優於低客單價需求,賣化妝品肯定比賣書好。
我覺得投資是為數不多的終身、高頻、高客單價需求領域。
雪球選擇投資領域之後,具體在這個領域做了什麼呢?我們花了將近三年的時間,做了一個投資者的社區 (雪球) 。跟我們同時期進入這個領域的同行,大部分都賣理財產品、p2p貸款去了,很快就做出了很靚麗的銷售業績。雪球做了一個百萬用戶,卻還一分錢不掙的社區,雪球是搞錯了嗎?我們回到原點來,互聯網對於投資,到底可以做哪些事情?在做雪球之前,我有一個簡單的分析,大概是三個事情:
交易。其實互聯網最早的應用之一,就是證券交易。現在銀行、券商的交易業務,已經全面互聯網化,新創的互聯網公司,在基礎交易方面能創造的增加值不多。
數據。包括查詢行情、數據、資訊,這過去是由鼓博、萬得、門戶網站等提供的,它的業務基礎是人力。新創的互聯網公司能創造的增加值也不夠多。
除這些之外,還有哪些投資者的強需求是互聯網可以更好地滿足或者優化的呢?我認為是交流,這才是互聯網能在投資領域創造最大價值的環節。
投資是一個需要極大信息量、極強的邏輯推演的事情。無論多麼高明的投資者,在作出一個投資決策的時候,都面臨著信息死角和思維盲區。不特定的投者之前的交流,能夠有效地掃蕩投資者的信息死角和思維盲區,減少投資者面對不確定性時的惶恐。互聯網社交產品使不特定的對象之間的交流成為可能,而基於用戶間follow關係的投資者社區,又能夠幫投資者選擇自己的交流對象,提高交流效率。雪球正是這樣一個社區。社區的建設極其艱難,它不但需要互聯網產品技術做支持,也需要定位清晰的運營。一旦社區形成規模和穩定的氣質,它就很難被模仿和超越,所以是一個比交易和數據更可能形成護城河的業務。到目前為止,我不敢說雪球已經形成護城河,但要模仿它,確實也不是一件容易的事。
投資者之間的交流會產生後續產品:內容和社交關係。你在雪球點開每個投資產品的頁面,都可以看到投資者圍繞它產生的海量內容,這些內容能夠把投資產品的收益、風險等特徵提煉出來;你在雪球點開每個投資者的頁面,都可以看到他關注哪些股票,喜歡討論什麼行業,交易風格是怎樣的。如果投資產品的特徵和投資者的偏好能夠匹配,則交易有可能撮合成功。
頻繁的交流會產生社交關係,社交關係會產生信用。傳統的金融產品銷售都是通過某種程度上的增信完成的,比如銀行可以說是牌照增信最後擔保人增信,線下的第三方銷售靠的是人肉增信。線上社交產生的信用,在其他產品的銷售上已經有很好的應用案例,它一定也可以應用在信用最為稀缺珍貴的金融交易上面。匹配和增信做到了,離交易就是一步之遙了。所以也可以這樣說,做社區本身並不是目的,做交流也不是目的,讓交流服務於交易才是最終目的。這是雪球已經做和正要做的事情,大概也是它的價值所在。
(2)招財寶
與此同時,常泡水木社區的A也看到了大家在討論招財寶這款產品,討論的都是招財寶變現的事情,頻繁的買入賣出可以賺取中間差額的利息。第一,在不變現的基礎上,你就是買了一個和在銀行購買的理財產品,收益和風險相當,這個沒什麼好說的,在現有的金融背景下,理財產品是新時代的「定期存款」。第二,在變現的情況下,注意了這一塊是產生爭議的重點了。簡單的說,變現就是你用自己購買的產品為抵押向其他人貸款,這裡有兩個債權關係:你和產品公司(各種保險啊基金啊);你和借給你錢的眾多招財寶用戶里的一個。注意了,不要以為你變現了之後就和你購買的產品沒關係了,也不要以為你和你的債主沒有關係了!你購買的產品一直都在,直到合同期滿,對方還款還息。另外你變現的錢不是招財寶公司的,他們就是個拉皮條的掮客,從中收取傭金,只是還算有良心收得很少!那麼誰有錢借你呢?廣大的放高利貸者啊,呵呵,就是廣大餘額寶用戶啦,既然是借錢那就得還款還息咯,所以在完成變現的那一刻起,你就已經是一個債務人了!
然而好景不長,現在的招財寶因為保監會的限制不得不下架萬能險產品。
(3)私募
也是在一次偶然的機會,A認識了做私募的金先生,金先生是一家私募公司的CEO,出來創業1年多,公司發展的很快,半年已經發展到30人的團隊,公司也從浙江搬到到上海。
金先生給A介紹了私募這塊具體做什麼。私募對應公募。公募的意思就是公開募集,比如IPO,配股、增發這些,都是公開募集。銀行吸收存款,其實也是廣義的公募。在中國,習慣是用私募來簡稱私募基金,就是所謂的PE。可是,其實除了私募基金以外,還有私募市場。區域性的股權交易市場,就是私募市場,裡面的行為,大部分都是私募的行為,簡單來說,就是因為不是面向社會公眾,所以就不用公開信息披露。因為私募基金先進入中國,所以大家就用私募來直接指代私募基金了。這種先入為主,就像熱力學第一、第二、第三定律發明以後,又發現了還有一個定律,是這幾個的基礎,甚至就是溫度計的工作原理,這個定律才應該叫第一定律,但是第一已經被別人佔了,所以就半推半就的起名「熱力學第零定律」。可是第零這種排序,好高冷的行嗎,所有的人都會以為第一定律才是第一行嗎?這些先入為主還能在一起好好排序嗎?所以,不要高(zhuang)冷(bi),從我做起。私募應該是一直行為的描述,就是對非公開募集的行為描述,參與的資金,叫私募基金,活動的市場,叫私募市場,如果用私募形式融資可以是發行私募股權或者私募債券等等。在股票市場的定向增發,也是非公開發行,也是私募行為。
舉兩個例子:小李有一筆錢,他看到某基金公司有個在某網站宣傳某基金,覺得不錯於是投錢。這就是公募。同樣是小李有一筆錢(100W)以上,他的好友小王準備開一家基金管理公司,小王找來小李跟他說了公司投資方向(比如PE,VC,或者二級市場)小李決定將錢交給小王投資,這個就是私募了。公募私募具體其實就是指資金的來源途徑。而PE,陽光私募,VC等等是指錢投資的方向。
(4)量化交易
接觸到量化交易的時候,是在一個上海的數據分析群里,有一個網友就經常曬自己的程序化交易的收益,講機器做股票交易收益穩定、風險較小。A就和這位網友聊了起來,這位網友也很熱心,介紹量化投資技術包括多種具體方法,在投資品種選擇、投資時機選擇、股指期貨套利、商品期貨套利、統計套利和演算法交易等領域得到廣泛應用。在此,以統計套利和演算法交易為例進行闡述。
a、統計套利。
統計套利是利用資產價格的歷史統計規律進行的套利,是一種風險套利,其風險在於這種歷史統計規律在未來一段時間內是否繼續存在。
統計套利的主要思路是先找出相關性最好的若干對投資品種,再找出每一對投資品種的長期均衡關係(協整關係),當某一對品種的價差(協整方程的殘差)偏離到一定程度時開始建倉,買進被相對低估的品種、賣空被相對高估的品種,等價差回歸均衡後獲利了結。
股指期貨對沖是統計套利較長採用的一種操作策略,即利用不同國家、地區或行業的指數相關性,同時買入、賣出一對指數期貨進行交易。在經濟全球化條件下,各個國家、地區和行業股票指數的關聯性越來越強,從而容易導致股指系統性風險的產生,因此,對指數間的統計套利進行對沖是一種低風險、高收益的交
易方式。
b、演算法交易。
演算法交易又稱自動交易、黑盒交易或機器交易,是指通過設計演算法,利用計算機程序發出交易指令的方法。在交易中,程序可以決定的範圍包括交易時間的選擇、交易的價格,甚至包括最後需要成交的資產數量。
演算法交易的主要類型有: (1) 被動型演算法交易,也稱結構型演算法交易。該交易演算法除利用歷史數據估計交易模型的關鍵參數外,不會根據市場的狀況主動選擇交易時機和交易的數量,而是按照一個既定的交易方針進行交易。該策略的的核心是減少滑價(目標價與實際成交均價的差)。被動型演算法交易最成熟,使用也最
為廣泛,如在國際市場上使用最多的成交加權平均價格(VWAP)、時間加權平均價格(TWAP)等都屬於被動型演算法交易。 (2) 主動型演算法交易,也稱機會型演算法交易。這類交易演算法根據市場的狀況作出實時的決策,判斷是否交易、交易的數量、交易的價格等。主動型交易演算法除了努力減少滑價以外,把關注的重點逐漸轉向了價格趨勢預測上。 (3) 綜合型演算法交易,該交易是前兩者的結合。這類演算法常見的方式是先把交易指令拆開,分布到若干個時間段內,每個時間段內具體如何交易由主動型交易演算法進行判斷。兩者結合可達到單純一種演算法無法達到的效果。
演算法交易的交易策略有三:一是降低交易費用。大單指令通常被拆分為若干個小單指令漸次進入市場。這個策略的成功程度可以通過比較同一時期的平均購買價格與成交量加權平均價來衡量。二是套利。典型的套利策略通常包含三四個金融資產,如根據外匯市場利率平價理論,國內債券的價格、以外幣標價的債券價
格、匯率現貨及匯率遠期合約價格之間將產生一定的關聯,如果市場價格與該理論隱含的價格偏差較大,且超過其交易成本,則可以用四筆交易來確保無風險利潤。股指期貨的期限套利也可以用演算法交易來完成。三是做市。做市包括在當前市場價格之上掛一個限價賣單或在當前價格之下掛一個限價買單,以便從買賣差價中獲利。此外,還有更複雜的策略,如「基準點「演算法被交易員用來模擬指數收益,而」嗅探器「演算法被用來發現最動蕩或最不穩定的市場。任何類型的模式識別或者預測模型都能用來啟動演算法交易。
量化交易一般會經過海量數據模擬測試和模擬操作等手段進行檢驗,並依據一定的風險管理演算法進行倉位和資金配置,實現風險最小化和收益最大化,但往往也會存在一定的潛在風險,具體包括:
1、歷史數據的完整性。行情數據不完整可能導致模型與行情數據不匹配。行情數據自身風格轉換,也可能導致模型失敗,如交易流動性,價格波動幅度,價格波動頻率等,而這一點是目前量化交易難以克服的。
2、模型設計中沒有考慮倉位和資金配置,沒有安全的風險評估和預防措施,可能導致資金、倉位和模型的不匹配,而發生爆倉現象。
3、網路中斷,硬體故障也可能對量化交易產生影響。
4、同質模型產生競爭交易現象導致的風險。
5、單一投資品種導致的不可預測風險。
為規避或減小量化交易存在的潛在風險,可採取的策略有:保證歷史數據的完整性;在線調整模型參數;在線選擇模型類型;風險在線監測和規避等。
A聽完這些,覺得和自己平時做的機器學習,演算法模型都很類似,所以自己也嘗試下載了交易軟體,嘗試了一下。然後因為不是太懂,所以剛開始的策略發現有少量的虧損,A決定還是先向這位網友多學習段時間再做具體的實測交易。
發現金融有這麼多好玩的模式後,A發覺自己對金融的理解才剛剛入門,以前理解的互聯網金融都太偏面或者狹隘了。像目前這些傳統的金融模式都正在一點點的互聯網化,而互聯網公司也在不斷開發新的金融產品。而在互聯網金融領域扮演著重要角色的就是大數據。
在互聯網金融領域,大數據在用戶畫像識別、風險控制、保險定價、個人徵信、信用貸款等方面都發揮著巨大的價值。
比如用戶畫像領域,大數據給每個人都制定了一個人群分類標籤,你多大年齡、常駐在哪裡、平時有什麼偏好、能夠接受多大的資金風險、平時都是什麼時間上網這些在個人信息庫都會有記錄;
比如風險控制這塊,你平時都是用什麼設備上網,如果你的賬號被盜或者是換了設備登陸的話,大數據可以識別出這一風險給你提示。比如你的銀行卡密碼被盜,系統能夠識別出你平時的消費習慣,針對突然的大額消費、多次消費給出提示和警告。再像你在給親戚朋友匯款轉賬時,大數據也能識別出你要轉賬的對方姓名是否是你認識的人,如果不是就給出提示。還有像非法的洗錢、套現、刷單這些行為都可能會被大數據的反作弊模型識別出,避免帶來巨大的損失;
還有像保險定價,大數據可以根據投保人平時的出險記錄和行為習慣,來預測將來投保人的出險概率,從而給出私人化的個性定價。對於平時出險很少的投保人給予更多的優惠價格空間和服務。同時在投保人購買不同價格的商品時,大數據也可以根據不同商品類目的分類來給出更低更合理的價格;
讓信用等於財富,應該是目前互聯網金融最需要解決的問題。在大家沒有面對面交流或者長久相處的情況下,怎麼解決信任危機的問題,就需要大數據來幫忙。有一套完整的徵信系統,以後會是大家在完成第一筆交易最有利的依據。如果你的信譽不好,就會影響到你的借貸額度,甚至沒有貸款的權利。如果你的信用分很高,可以在租房、租車、機場安檢、出境安檢等方方面面帶來巨大的便利。
-----------------2015.11.02更新-----------------------------------------------------------------------------------------------------
能力>工具
眼看A在阿里的工作逐漸走上正軌,A開始把工作的一部分時間拿來和別人的交流上。也有不少師弟師妹經常來請教A,問A平時都用什麼樣的數據分析工具,python和R的區別和聯繫,SQL要掌握到什麼樣的程度,以及SAS、clementine要用到什麼樣子才算數據分析師入門。
A回想了一下,這些年遇到的種種情況和問題,發覺很少有因為某些個工具不會應用而導致分析工作無法繼續,而大部分的情況都是業務的不了解導致分析無從下手。
但是掌握好數據分析工具,能夠幫助一個剛入門的數據分析菜鳥快速上手,幫助沒有經驗的數據分析菜鳥理解數據分析有哪些模塊和具體的步驟。A對於沈浩老師之前整理的一篇《常用的數據分析工具有哪些》記憶猶新。工欲善其事,必先利其器。沈老師的學習方法,一般是先學軟體開始,再去應用,再學會理論和原理,因為是老師,再去教給別人!沒有軟體的方法就不去學了,因為學了也不能做,除非你自己會編程序。
那麼在數據分析領域,都有哪些軟體分析工具呢?如何選擇呢?其實很多領域或者說分析方法都有相應的軟體工具,只要你想找就應該能夠找到!
這裡我把軟體分成縱橫四個層次的的象限圖來表達!
第一維度:數據存儲層——>數據報表層——>數據分析層——>數據展現層
第二維度:用戶級——>部門級——>企業級——>BI級
首先,存儲層:
我們必須能夠存儲數據,對個人來講至少應該掌握一種資料庫技術,當然也不一定要熟練操作,但至少要能夠理解數據的存儲和數據的基本結構和數據類型,比如數據的安全性、唯一性、冗餘性,表的關係,粒度,容量等,最好能夠理解SQL查詢語言的基本結構和讀取等等!
1.
Access2003、Access07等:這是最基本的個人資料庫,經常用於個人或部分基本的數據存儲;2.
MySQL資料庫,這個對於部門級或者互聯網的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力;3.
SQLServer 2005或更高版本,對中小企業,一些大型企業也可以採用SQLServer資料庫,其實這個時候本身除了數據存儲,也包括了數據報表和數據分析了,甚至數據挖掘工具都在其中了;4.
DB2,Oracle資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對數據海量存儲需求的就是必須的了,一般大型資料庫公司都提供非常好的數據整合應用平台;5.
BI級,實際上這個不是資料庫,而是建立在前面資料庫基礎上的,這個主要是資料庫的企業應用級了,一般這個時候的資料庫都叫數據倉庫了,Data Warehouse,建立在DW級上的數據存儲基本上都是商業智能平台,或許整合了各種數據分析,報表、分析和展現!第二,報表層:
當企業存儲了數據後,首先要解決的報表,還不是分析問題,是要能夠看到,看到報表,各種各樣的報表!國內外有專門提供報表分析服務的企業和軟體。
Crystal Report水晶報表,Bill報表,這都是全球最流行的報表工具,非常規範的報表設計思想,早期商業智能其實大部分人的理解就是報表系統,不藉助IT技術人員就可以獲取企業各種信息——報表。而且很多資料庫內置的報表也是採用CR報表的開發版嵌入的!
Tableau軟體,這個軟體是近年來非常棒的一個軟體,當然它已經不是單純的數據報表軟體了,而是更為可視化的數據分析軟體,因為我經常用它來從資料庫中進行報表和可視化分析,先暫列在報表層;這個軟體從3.0開始,現在已經有了5.1版本,兩年的時間已經到了伺服器和Web方式了!
當然,如果企業有上萬張報表,需要好好管理起來,還有安全性,並發請求等,就需要有Server版;
博易智訊公司專門提供Crystal Report和Crystal Report Server版銷售和軟體服務。
第三,數據分析層:
這個層其實有很多分析工具,當然我們最常用的就是Excel,我經常用的就是統計分析和數據挖掘工具;
Excel軟體,首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;
SPSS軟體:當前版本是18,名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體。
Clementine軟體:當前版本13.0,數據挖掘工具,我從6.0開始用,到了13版,已經越來越多的提高了更多有好的建模工具,現在改名叫PASW Modeler 13建模器了。而且與SPSS統計功能有了更多的整合,數據處理也更加靈活和好用。
SAS軟體:SAS相對SPSS其實功能更強大,SAS是平台化的,EM挖掘模塊平台整合,相對來講,SAS比較難學些,但如果掌握了SAS會更有價值,比如離散選擇模型,抽樣問題,正交實驗設計等還是SAS比較好用,另外,SAS的學習材料比較多,也公開,會有收穫的!
當然,我主要是採用SPSS和Clementine,有時候就是習慣,當然會了一種軟體在學其他的也不是很困難!
第四:表現層
最近我一直在研究數據可視化技術,一方面是因為Excel大家有需求,另一方面就是我第一個購買了Xcelsius,也寫了《Excel高級應用與數據分析》和《數據展現的藝術——Xcelsius》。這個領域的軟體,特別是一些小工具非常有價值!
PowerPoint軟體:這個沒得說了,大部分人都是用PPT寫報告;
Visio、SmartDraw軟體:這些都是非常好用的流程圖、營銷圖表、地圖等,而且從這裡可以得到很多零件;
Swiff Chart軟體:製作圖表的軟體,生成的是Flash;
Color Wheel軟體:配色軟體
Yed軟體:網路關係圖、流程圖和圖形分析軟體,類似SNA分析,我經常用來設計流程圖,還有就是分析優化關係圖;
Netdraw軟體:這是社會網路分析展現軟體,主要是可視化網路關係圖的,讀取Ucinet軟體;
Mindmanager軟體:思維導圖,非常好的軟體,可以把非線性思維很快構建起來,並且項目組織管理、報告設計構想都可以應用,直接生成PPT等,當然這個軟體功能非常強大,我的學生都用它來做筆記和會議記錄;
Xcelsius軟體:Dashboard製作和數據可視化報表工具,可以直接讀取資料庫,在Excel里建模,互聯網展現,最大特色還是可以在PPT中實現動態報表;這個是我最希望應用的一個軟體工具,非常有價值!
在掌握完工具之後,能夠區分一個資深數據分析師和一個數據分析菜鳥的區別是什麼呢?
從上圖可以看出,在成長為數據分析專家之前,更多的是需要能夠在問題識別、分析規劃、數據獲取、展現演示、價值應用、執行和管理能力、以及影響力上有不同層次的要求。作為一個剛入門的數據分析師,需要能夠把在數據分析的基礎技能上夯實。掌握基本的數據分析知識(比如統計,概率,數據挖掘基礎理論,運籌學等),掌握基本的數據分析軟體(比如,VBA,Matlab,Spss,Sql等等),掌握基本的商業經濟常識(比如宏微觀經濟學,營銷理論,投資基礎知識,戰略與風險管理等等)。這些基礎知識,在學校里盡量的學習,而且我來到了一些商學院,這樣我可以在商業分析、經濟分析上面領悟到一些東西,增強我的數據分析能力。
在數據分析工具掌握之後,怎麼晉級到一個合格的數據分析師?這時候就不只是掌握基本的統計知識或工具應用,需要能夠獨立完成一項完整的數據分析工作,能夠通過數據準確定位業務上的問題,能夠獨立完成一份完整的數據分析報告,能夠嘗試將自己的分析結果講給被人聽,被別人接受和採納。
1.
學習怎麼寫報告;首先,要有一個好的框架,跟蓋房子一樣,好的分析肯定是有基礎有層次,有基礎堅實,並且層次明了才能讓閱讀者一目了然,架構清晰、主次分明才能讓別人容易讀懂,這樣才讓人有讀下去的慾望;
第二,每個分析都有結論,而且結論一定要明確,如果沒有明確的結論那分析就不叫分析了,也失去了他本身的意義,因為你本來就是要去尋找或者印證一個結論才會去做分析的,所以千萬不要忘本舍果;第三,分析結論不要太多要精,如果可以的話一個分析一個最重要的結論就好了,很多時候分析就是發現問題,如果一個一個分析能發現一個重大問題,就達到目的了,不要事事求多,寧要仙桃一口,不要爛杏一筐,精簡的結論也容易讓閱者接受,減少重要閱者(通常是事務繁多的領導,沒有太多時間看那麼多)的閱讀心理門檻,如果別人看到問題太多,結論太繁,不讀下去,一百個結論也等於0; 第四、分析結論一定要基於緊密嚴禁的數據分析推導過程,不要有猜測性的結論,太主觀的東西會沒有說服力,如果一個結論連你自己都沒有肯定的把握就不要拿出來誤導別人了;第五,好的分析要有很強的可讀性,這裡是指易讀度,每個人都有自己的閱讀習慣和思維方式,寫東西你總會按照自己的思維邏輯來寫,你自己覺得很明白,那是因為整個分析過程是你做的,別人不一定如此了解,要知道閱者往往只會花10分鐘以內的時間來閱讀,所以要考慮你的分析閱讀者是誰?他們最關心什麼?你必須站在讀者的角度去寫分析郵件; 第六,數據分析報告盡量圖表化,這其實是第四點的補充,用圖表代替大量堆砌的數字會有助於人們更形象更直觀地看清楚問題和結論,當然,圖表也不要太多,過多的圖表一樣會讓人無所適從;
第七、好的分析報告一定要有邏輯性,通常要遵照:1、發現問題 2、總結問題原因 3、解決問題,這樣一個流程,邏輯性強的分析報告也容易讓人接受; 第八、好的分析一定是出自於了解產品的基礎上的,做數據分析的產品經理本身一定要非常了解你所分析的產品的,如果你連分析的對象基本特性都不了解,分析出來的結論肯定是空中樓閣了,無根之木如何叫人信服?!第九、好的分析一定要基於可靠的數據源,其實很多時候收集數據會佔據更多的時間,包括規劃定義數據、協調數據上報、讓開發人員 提取正確的數據或者建立良好的數據體系平台,最後才在收集的正確數據基礎上做分析,既然一切都是為了找到正確的結論,那麼就要保證收集到的數據的正確性,否則一切都將變成為了誤導別人的努力;第十、好的分析報告一定要有解決方案和建議方案,你既然很努力地去了解了產品並在了解的基礎上做了深入的分析,那麼這個過程就決定了你可能比別人都更清楚第發現了問題及問題產生的原因,那麼在這個基礎之上基於你的知識和了解,做出的建議和結論想必也會更有意義,而且你的老闆也肯定不希望你只是個會發現問題
的人,請你的那份工資更多的是為了讓你解決問題的; 十一、不要害怕或迴避「不良結論」,分析就是為了發現問題,並為解決問題提供決策依據的,發現產品問題也是你的價值所在,相信你的老闆請你來,不是光讓你來唱讚歌的,他要的也不是一個粉飾太平的工具,發現產品問題,在產品缺陷和問題造成重大失誤前解決它就是你的分析的價值所在了;十二、不要創造太多難懂的名詞,如果你的老闆在看你的分析花10分鐘要叫你三次過去來解釋名詞,那麼你寫出來的價值又在哪裡呢,還不如你直接過去說算了,當然如果無可避免地要寫一些名詞,最好要有讓人易懂的「名詞解釋」;十三、最後,要感謝那些為你的這份分析報告付出努力做出貢獻的人,包括那些為你上報或提取數據的人,那些為產品作出支 持和幫助的人(如果分析的是你自己負責的產品),肯定和尊重夥伴們的工作才會贏得更多的支持和幫助,而且我想你也不是只做一鎚子買賣,懂得感謝和分享成果的人才能成為一個有素養和受人尊敬的產品經理。2.
學習怎麼以業務的眼光看待問題;第一層:知其然我們可以通過建立數據監控體系,掌握髮生了什麼、程度如何,做到「知其然」。具體來說,切入數據的角度主要有這幾個方面。首先是「觀天」,觀察行業整體趨勢、政策環境影響;再是「知地」,了解競爭對手的表現;最後是「自省」,自身做得怎麼樣了,自己的數據表現怎麼樣。從看數據的周期上來講,「觀天」可以是季度性或者更長的周期;「知地」按周或者月,特殊時間點、特殊事件情況下除外;「自省」類的數據拿到的是最全面的,需要天天看,專門有人看,有人研究。在這一層上,分享兩個看數據的觀點:1.數據是散的,看數據需要有框架。怎麼看數據很有講究。零碎的數據很難發揮出真正的價值,把數據放到一個有效的框架里,才能發揮整體價值。所謂有效的框架至少包含兩重作用:(1)數據很多,不同人對數據需求不一樣,如CEO、中層管理者、底層員工關注的數據通常是不一樣的,有效的框架能夠讓不同的人各取所需。
(2)有效的框架能夠快速地定位問題所在。舉個例子,交易量指標大家都關心,如果某一天交易量指標掉了20%,那麼,業務很大可能下是出了問題,但問題到底出在哪兒呢?如果只有幾個高度抽象的指標,如轉化率、成交人數、客單價等,是定位不到問題的。好的框架能夠支持我們往下鑽,從品類、流量渠道等找到問題所在,板子也就能打到具體的負責人身上了。這也是我們通常所說的,看數據要落地。2.數據,有比較才有真相。我有120斤,你說是重還是輕呢?一個孤零零的數據是很難說明問題的。判斷某個指標增長快慢,需要選擇正確的比較對象、參考系,也就是基準線。這個基準線可以是一個預先設定的目標,可以是同行業平均水平,也可以是歷史的同期數據。第二層:知其所以然通過數據看到了問題,走到這一步還不夠。數據只是表象,是用來發現、描述問題的,實操中解決問題更重要。數據結合業務,找到數據表象背後的真正原因,解決之。解決問題的過程就會涉及數據、數據加工,還可能會涉及數據模型之類的方法或者是工具,這裡面技術含量比較高,另作篇幅介紹,這裡不展開了。
因素:同樣一個數據在A看來結論可能是好的,從B看來可能卻得出截然相反的結果。不是說出現這樣的情況不好,真理越辯越明。但假如不是通過數據找問題,而是先對問題定性,然後有選擇地利用數據證明自己的觀點,這種做法就不可取了。可事實上,我們的身邊經常發生這樣的事情。2.懂業務才能真正懂數據。車品覺老師的博文《不懂商業就別談數據》對這個觀點作了深刻闡述,這裡不展開講了。只是由於本觀點的重要性,筆者特意拿出來做一下強調。
第三層:發現機會
利用數據可以幫助業務發現機會。舉個例子:淘寶上有中老年服裝細分市場,有大碼女裝市場,這些市場可以通過對周邊環境的感知,了解到我們身邊有一些中老年人或者胖MM在淘寶上面沒有得到需求的滿足。那麼還有沒有其他的渠道找到更多的細分市場呢?數據可以!
通過用戶搜索的關鍵詞與實際成交的數據比較,發現有很多需求並沒有被很好地滿足,反映出需求旺盛,但供給不足。假如發現了這樣的細分市場,公布出來給行業小二,公布出來給賣家,是不是可以幫助大家更好地去服務消費者呢?這個例子就是現在我們在做的「潛力細分市場發現」項目。講這個案例,不是想吹牛數據有多厲害,而是想告訴大家:數據就在那裡,有些人熟視無睹,但有些人卻可以從中挖出「寶貝」來。差異是什麼呢?商業感覺。剛剛提到的搜索數據、成交數據很多人都能夠看到,但以前沒有人把這兩份數據聯繫在一起看,這背後體現出的就是商業感覺。第四層:建立數據化運營體系我理解的數據化運營,包含了兩重意思:數據作為間接生產力和直接生產力。1.數據作為間接生產力。所謂間接生產力,是指數據工作者將數據價值通過運營傳遞給消費者,即通常所說的決策支持,數據工作者產出報表、分析報告等供各級業務決策者參考。我稱之為決策支持1.0模式。然而隨著業務開拓和業務人員對數據重要性理解的增強,對數據的需求會如雨後春筍般冒出來,顯然單單依賴人數不多的分析師是滿足不了的。授人以魚不如授人以漁,讓運營、產品的同學都能夠進行數據分析,是我腦子中的決策支持2.0模式。決策支持2.0模式有三個關鍵詞:產品、能力、意願。
讓運營和PD掌握SQL這類取數語言,掌握SAS、SPSS這類分析工作,顯得不大現實和必要。提供低門檻、用戶體驗良好的數據產品是實現決策支持2.0模式的基礎。這裡講的產品,不僅僅是操作功能集,還需要承載分析思路和實際案例。但是,數據分析的門檻始終是存在的。這就對運營和PD提出了新的基本能力要求,即基礎的數學能力、邏輯思考能力和學習能力。最後一個意願,也許是最關鍵的,只有內心有強烈的驅動,想做好這件事情的時候,才有可能做好。2.數據作為直接生產力。所謂直接生產力,是指數據工作者將數據價值直接通過前台產品作用於消費者。時髦點講,叫數據變現。隨著大數據時代的到來,公司管理層越來越重視這一點。大數據時代帶來了大的機會,但也可能是大災難。如果不能利用數據產生價值,那麼,它就是一個災難——產生的數據越多,存儲的空間、浪費的資源就越多。現在比較好理解的一個應用就是關聯推薦,
你買了一個商品之後,給你推薦一個最有可能再買的商品。個性化是數據作為直接生產力的新浪潮,這個浪潮已經越來越近。數據工作者們,做好迎接的準備吧。3.
怎麼在數據分析技能上加強;基本技術怎麼強調都不過分。這裡的術更多是(計算機、統計知識),多年做數據分析、數據挖掘的經歷來看、以及業界朋友的交流來看,這點大家深有感觸的。資料庫查詢—SQL數據分析師在計算機的層面的技能要求較低,主要是會SQL,因為這裡解決一個數據提取的問題。有機會可以去逛逛一些專業的數據論壇,學習一些SQL技巧、新的函數,對你工作效率的提高是很有幫助的。統計知識與數據挖掘你要掌握基礎的、成熟的數據建模方法、數據挖掘方法。例如:多元統計:回歸分析、因子分析、離散等,數據挖掘中的:決策樹、聚類、關聯規則、神經網路等。但是還是應該關注一些博客、論壇中大家對於最新方法的介紹,或者是對老方法的新運用,不斷更新自己知識,才能跟上時代,也許你工作中根本不會用到,但是未來呢?行業知識如果數據不結合具體的行業、業務知識,數據就是一堆數字,不代表任何東西。是冷冰冰,是不會產生任何價值的,數據驅動營銷、提高科學決策一切都是空的。一名數據分析師,一定要對所在行業知識、業務知識有深入的了解。例如:看到某個數據,你首先必須要知道,這個數據的統計口徑是什麼?是如何取出來的?這個數據在這個行業,在相應的業務是在哪個環節是產生的?數值的代表業務發生了什麼(背景是什麼)?對於A部門來說,本月新會員有10萬,10萬好還是不好呢?
當你掌握好前面的基本知識和一些技巧性東西的時候,你應該在業務、行業、商業知識的學習與積累上了。這個放在最後,不是不重要,而且非常重要,如果前面三點是決定你能否進入這個行業,那麼這則是你進入這個行業後,能否成功的最根本的因素。數據與具體行業知識的關係,比作池塘中魚與水的關係一點都不過分,數據(魚)離開了行業、業務背景(水)是死的,是不可能是「活」。而沒有「魚」的水,更像是「死」水,你去根本不知道看什麼(方向在哪)。
特別A在以前的數據分析工作中,區別於其他數據分析師的一項特定能力就是對業務的見解。就連自己的業務方都承認A的業務能力比自己這樣天天做業務的人都更清楚,數據記得更清楚。也為A以後從事業務埋下了伏筆。
--------------2015.11.11
目睹BAT的大數據故事
一次偶然的機會,A有幸參加了整個數據圈舉辦的大數據峰會。這一天來自各個公司的大拿都齊聚大數據,針對商業智能、移動互聯網和互聯網金融領域的應用和大數據的發展走向作探討。
首先是阿里的某位數據泰鬥上台分享大數據的歷史,現狀和未來發展。講訴了這幾年大數據如何是從每天幾G的數據量到攢下超過100PB已清洗的數據。
從2003年淘寶起步開始,阿里集團數據事業部負責人QG就一直和數據在打交道,他的經歷勾勒了這家數據巨人的演變軌跡。
阿里系最早的數據工作自2003年起步,出於業務需求的驅動,起步非常粗糙,無非資料庫、IT系統,隨後開始統計分析行業的基本指標,比如UV/PV等,當時的淘寶數據員工也只有數名。
在數據的童蒙時代,淘寶「依葫蘆畫瓢」,學習當時最大的對手-ebay,當時的ebay和亞馬遜都已經成立了BI部門,恰是與易趣的競爭,推動了整個阿里的數據發展。據淘寶當時的相關人士回憶,易趣曾強勢通過排他協議壟斷了門戶廣告資源,迫使阿里將廣告投放轉向中小網站聯盟,由此催生了廣告投放精準化的分析需求,淘寶的數據分析團隊開始積累流量數據的分析經驗。
04年~05年是淘寶逆襲的一年,這一年業務量突增,品類也擴張的很迅速,數據量隨之躍升。淘寶開始意識到不能再靠拍腦袋決策了,需要實時掌握用戶量和交易量的變化,進行精準分析。
05年淘寶成立了BI部門,成為當時淘寶技術研發部門JP的直屬部門,這一年,阿里擁有了第一款嚴格意義上的數據產品——「淘數據」,這是一份經營數據的報表,為各業務公司、部門提供經營報表的檢索生成工具。同年,阿里切入搜索、廣告業務——兩項業務均帶有天然的數據屬性,成為阿里大數據運營的開端。QG講這個由此阿里對數據和應用場景的理解越來越清晰,目標越來越明確——搜索幫助消費者更快找到商品,廣告則讓商家獲得更高的ROI。
09年阿里數據進入產品化的時代,「淘數據」從一個內部報表系統變成了內部數據的統稱。09年4月和12月,BI又分別開發出可預警的「KPI系統」、服務業務部門的「數據門戶」。
阿里對外的數據產品也開始浮出水面,脫胎於「雅虎統計」的「量子恆道」,為外部商鋪提供了統計分析工具,用於跟蹤自有店鋪的流量、點擊、購買等數據的變化情況。
與數據產品的大裂變同步,09年阿里的數據技術架構,開始大變革。此前一年加入阿里出任首席架構師的WJ,一手主導了阿里架構從oracle商用系統向hadoop開源平台的遷移。相比較IBM、Oracle等商用系統,hadoop的優點在於成本低廉,且架構可擴展性極強,全球互聯網企業的大規模計算體系多使用該平台。
同年,WJ成立阿里集團研究院,將集團內各公司自行搭建的hadoop集群統一,開發出「雲梯1」系統,以實現全集團的所有數據打通、整合的管理與分享。
這一系列變革之後,阿里最高層提出了「數據開放」。10年初,淘寶推出了「數據魔方」,第一次向市場開放了全局市場數據,這款付費產品成了大中型商戶追捧的利器。產品研發出於對客戶的走訪了解。當時,寶潔公司希望能夠了解到行業數據,以幫助其經營決策。數據團隊的員工提出,與其case by case解決,不如直接產品化,阿里的數據價值出來了。
此後阿里的數據產品開發進入了井噴階段,淘寶數據部門開發出「活動直播間」,幫助賣家更好的參與促銷運營。11年上半年,「賣家雲圖」「頁面點擊」接連出現。
11年,現任阿里數據委員會負責人的CPJ加盟支付寶,發現阿里數據產品線存在很多短板:高層一端數據過多,關聯性不強,難以快速並且進行全局診斷;一線運營一端總抱怨數據不夠,數據間壁壘重重,沒有進行整合。於是CPJ研發了兩款數據產品,「觀星台」:高度可視化的儀錶盤,選擇最關鍵的數據在幾秒內展示全局運營狀況;「地動儀」:可以看到用戶投訴的最多功能有哪些,甚至可以獲取最原始的客服錄音電話錄音。隨後,CPJ進入淘寶,又研發了兩款產品「黃金策」「無量神針」。QG領導的另一支數據團隊也研發了一系列的產品,「淘寶指數」「淘寶時光機」。
一家互聯網公司數據挖掘業務的負責人評論,從「數據門戶」到「數據魔方」,再到「淘寶指數」「淘寶時光機」,阿里的數據產品從報表到數據工具,再到可視化圖片,甚至一組Flash,看上去越來越沒有「數據味」,但是其對消費場景和行為的洞察卻越來越深了。
12年阿里集團一系列架構調整,重構了阿里數據「達芬奇密碼盤」的排序。
阿里雲拆分,獨立運行;阿里系的資料庫和大規模運算資源整合為「數據平台事業部」,由CEO
LZX親自掌管;同時成立虛擬組織「集團數據委員會」,CPJ出任首任會長。WJ領導的阿里雲是「密碼盤」中的最底層框架,提供基礎的運算平台。譬如,阿里自行研發的「雲梯2」體系,即建立在阿里雲「飛天」架構之上;在此之上,則是QG領導的數據平台事業部,運營阿里集團共享的資料庫,各業務公司產生的數據經清洗之後就存儲在該事業部的伺服器上;再往上即是CPJ領導的淘寶網BI部門,他們使用數據進行分析。同時「數據委員會」的成員們分屬阿里各業務公司,他們利用QG團隊的工作成果進行再分析。
可以理解為三層架構:阿里雲即是IasS(基礎設施即服務),阿里數據平台事業部是PasS(平台即服務),而CPJ團隊即是SaaS(軟體即服務)。
阿里集團內的數據大多經過這樣的旅程——用戶在淘寶上的一個收藏動作,首先在淘寶網的前端伺服器上產生一條日誌,日誌隨後被傳送到QG團隊的伺服器上存儲,期間經過清洗過程,最後被編入資料庫,與其他數據一同被存儲在分主題的數據集市。當數據委員會的分析師們進行數據挖掘時,就可能被採用。
目前,數據業務平台已整合了阿里集團的全部數據,此外,阿里小微集團中創新金融事業部的數據也與該平台直接相連。
阿里的前世差不多是這些,那阿里的今生又是什麼樣子呢?
圍繞大數據,阿里在廣告、搜索、推薦、風控、個人授信、保險、智能客服等領域也是做出了很多數據產品。
廣告方面首屈一指的當屬阿里媽媽,聯盟平台從以服務淘寶系商家為主,轉向面向全網所有廣告主開放。比如當英菲尼迪投放了一款與寶馬Mini互為競品的新車時,阿里媽媽會通過電商交易數據,找出對這款車可能感興趣的用戶,同時廣告主——它們有可能是英菲尼迪的經銷商、也有可能是希望藉機推送寶馬Mini廣告的寶馬經銷商,以競價方式競得推送廣告的權利。整個過程可以在用戶打開網頁的瞬間完成。
這一過程都是在基於阿里媽媽剛開發完成不久的「達摩盤」,除了網頁廣告,還整合了移動、社交媒體、郵件等營銷手段。
這種RTB廣告(又稱實時競價廣告,即Real Time Bidding)對於廣告界來說並不是新事物。Google曾在全球範圍內第一個推出RTB平台。隨後跟進的包括Facebook、騰訊、百度、新浪等互聯網公司,現在這個領域還出現了品友互動、悠易互通、MediaV等眾多新興公司。
在RTB廣告交易中,廣告主按效果付費,為了獲得更多的點擊,就必須精準地找到目標受眾。
來自廣東的店主羅亦挺2014年開始使用「生意參謀」,一款阿里巴巴B2B平台上的數據分析工具。「我可以知道店鋪的流量來源,知道來自哪個網站、通過哪些搜索的關鍵詞過來的。」他對界面新聞記者介紹。並且從去年下半年開始,還有了無線端的銷售金額統計。
2014年全年,羅亦挺的店廣告支出20萬元,收入為1000萬。
阿里媽媽達摩盤還對本月剛剛上市的全新英朗進行了「全網匹配」。按其自身的統計,點擊率提高了136%,下訂金的客戶80.3%來自此案例的定製人群。
分析和交易數據成了達摩盤的基礎。這可能也是阿里媽媽相比騰訊、百度等其它對手最大的不同——它有4億用戶交易的真實數據。
個人徵信方面芝麻信用通過對用戶海量數據的挖掘得出相應的芝麻分,能直觀地呈現用戶的信用水平。芝麻分的數據來源可不僅來源於阿里巴巴哦。從渠道來看的話,芝麻分的電商數據來自阿里巴巴體系,互聯網金融數據則來自螞蟻金服,還有部分數據來自眾多公共機構及合作夥伴,也有用戶自主提交的數據,例如結婚證、房產證等,未來阿里係數據僅會佔30%——40%權重。
芝麻分的分值區間為350-950,芝麻分越高代表用戶的信用狀況越好。影響芝麻分高低的有身份特質、信用歷史、行為偏好、履約能力以及人脈關係5個因素。
芝麻分應用場景分析
1、消費貸款
針對芝麻信用分,螞蟻金服自己推出了3款產品:花唄、借唄和好期貸。花唄是支付寶推出的一款「賒賬消費」工具,消費者可以通過花唄購買產品,下月再進行還款。中申網小編查閱數據發現,花粉的用戶33%是90後,80後用戶則佔48.5%,而70後用戶只有14.3%。可見螞蟻「花唄」深受新生代消費群體歡迎。
芝麻分達到600分的用戶有機會申領借唄,現在還未全面開放。芝麻信用用戶可以憑藉芝麻分申請相應額度的個人消費貸款,申請到的額度可以提現到支付寶餘額。貸款額度為1千元——5萬元,還款最長期限為12個月,貸款日利率是0.045%,隨借隨還。
「好期貸」是招聯金融旗下產品,門檻比「借唄」高一些,目前需要芝麻分700及以上才行,而且有每日1000個名額限制。不過6月好期貸將降低芝麻分門檻,而且將進行首度開放。好期貸額度在2千-1萬元之間,貸款期限分為3、6、12個月,可隨時還款,好期貸的年貸款利率為17.8%。按月計息,還款當月按日計息,還款方式為等額本息。
此外,芝麻信用也已開始與其他金融機構合作,把芝麻分作為放貸的依據。比如引入芝麻信用分的玖富表示芝麻分高,可以享受的借款額度就會更高,利率也會更低。而金融搜索平台融360也已與芝麻信用建立數據戰略合作。融360將利用芝麻分計算放貸金額,申請貸款用戶在融360在線金融平台上借款,最快10分鐘審批,24小時放款。
可見,芝麻信用分的推出對金融機構意義重大,不僅可以降低金融機構的貸款風險,還可以簡化貸款流程加快放款速度。
2、婚戀
5月20日婚戀網站百合網宣布引入「芝麻信用」。雖然百合網實行實名制,但依然無法避免不法分子利用婚戀網站「騙婚」的問題,通過引入芝麻信用可以增加相親雙方的信任度。百合網用戶可以先查看對方的芝麻分了解對方的信用如何再決定是否和對方深入發展。芝麻分的引入,能夠提高單身男女對相親對象的信任感,更利於感情修成正果。
3、租房
青客公寓和淘寶房產試水租房電商模式,結合「芝麻信用分」租客還能享受房租1元的信用權益。淘寶此次推出信用抵房租活動,恰逢畢業季,正好緩解不少畢業生的租房難題。中申網統計發現,新增的求租、換租需求在畢業季的一段時間內會放大,出租房源會出現季節性供應緊張導致租金上漲。淘寶此次與青客公寓合作,將『芝麻信用』變成了一種『租房福利』,也是租房行業的一次大膽嘗試。
4、租車
現在芝麻分用戶已經可以享受憑芝麻分租車服務。芝麻分達到600分可享受車紛享智能租車,無需押金還能先用車後付款。芝麻分達到650分用戶無須交押金或刷預授權,就可以在全國700多家神州租車直營門店預訂押金在5000元以下的短租自駕產品。
6月6日起,一嗨租車也將引入芝麻信用。一嗨租車用戶只要芝麻信用分在650分及以上,同時無負面記錄,即可申請租車免預授權服務,一嗨租車根據芝麻分授予用戶5000元的免預授權額度。
5、住宿
「阿里去啊」推出了基於芝麻信用的「信用住」酒店服務計劃,600分以上的用戶預訂酒店可以享受「零押金」入住等服務。小豬短租也聯合芝麻信用推出600分以上免押金入住服務。
將來芝麻信用分還將在購物、社交、民生等領域發揮更大的作用。所以,千萬別小瞧這個小小的「芝麻分」,將來它可能關係到你的錢途哦!
接下來是騰訊的blue介紹大數據的具體應用。
大數據,這個詞越來越熱,很多人都在談大數據,其實很多張口閉口大數據的人,或許都不知道數據是如何產生、傳遞、存儲、運算到應用。有段時間,看到一些大數據文章,就感覺純屬湊熱鬧,小數據都沒搞明白,成天扯大數據。大數據,真的不是普通公司可以做的。
早上9點開始到晚上18點,7個小時,都是關於數據的演講,騰訊、華為、京東、大眾點評等公司的數據專家分別講述各自的數據理論與實踐,當天簡直是信息爆炸,我用手機拍下200多張PPT,即使原來對數據有些研究,對騰訊數據平台也比較了解,要整理出來和大家分享,也需要一些時間消化整理。
曾經是騰訊內部舉辦的商業智能日,如今走向開放。
騰訊數據平台的思路,早已熟悉,這次算複習,再次感受騰訊數據平台的成長,技術性已經是領先水平,在產品與業務發展的指導與支撐並轉化為生產力方面,仍有非常大的想像空間。
當天幾家公司的大數據應用,相對局限於個性化推薦,例如廣告精準投放、推薦商品、推薦用戶、推薦應用等等。或許,國內的大數據應用由於商業公司功利性的限制,當天幾家演講的公司,大數據的商業化目標明確,而精準個性推薦是其中最有效的手段。騰訊大數據現狀
IBM將「大數據」理念定義為4個V:大量化(Volume)、多樣化(Variety)、快速化(Velocity)以及產生的價值(Value)。我們可以從這幾個方面一起看看騰訊大數據現狀。
從業務角度
騰訊數據真的夠大。騰訊數據平台自研的TDW替換了商業資料庫,實現公司級數據集中存儲,總記錄達到375萬億條,日接入5千億條,覆蓋移動設備數7.7億。
從平台角度看
騰訊數據平台設備8400台,單集群5600台,總存儲100PB+;日新增數據200TB+,月數據增長率10%,日均JOB數100萬,日均計算量5PB,量夠大,速度也夠快。
從用戶角度看
這裡的用戶,指的是騰訊內部員工。騰訊員工2萬多人,騰訊數據門戶的月活躍是2500左右,也就是說訪問騰訊數據門戶的人佔比公司10%+;每月處理數據提取分析的任務數是1萬個,如果訪問者每人都會提數據任務,平均就是一個人提4個左右的分析提取任務;用戶畫像分析任務為1.2萬,可以看出騰訊對用戶畫像的重視程度。
騰訊大數據的多樣性
下面的圖,騰訊數據平台已經接入100多個產品的各類數據,例如:用戶行為、賬號屬性、收入數據等等。
騰訊數據平台產品架構
騰訊數據平台從五個方面進行產品設計,分別是:數據管理、數據監控、數據分析、數據可視化、數據挖掘。
這也是我曾經在騰訊、YY語做過的數據產品運營工作的主線,五個方面分別通過各種數據產品落地,為公司內部產品策劃、產品運營、產品營收、客服、財務等提供數據支撐。
騰訊業務平台與數據服務
下面這張圖非常清晰的闡明了騰訊數據平台的數據服務與業務平台的關係。數據服務的核心是分散式存儲、實時計算(TRC)、離線計算(TDW),以數據產品的方式對外呈現於應用,業務平台則考慮用戶接入、業務邏輯、關係型存儲的工作。
其中,對於海量數據來說,至關重要的是 Gaia高效的資源調度,提供高並發的任務調度與資源管理,為實現秒級的數據監控與實時運算提供保證。
Gaia高效的資源調度
騰訊大數據應用成效
數據成為生產力,支持海量用戶產品發展。
騰訊廣點通,精準廣告投放
騰訊信鴿——大數據精準移動推送
用戶留存率提升100%,用戶活躍提升100%。
遊戲模型,助力手游精細化運營
自助分析
自助報表
黃金眼——快速報表
實時監控
用戶畫像
緊接著,百度研究院大數據實驗室也分享了名為《從數據到智能》的演講,著重向業界介紹了百度大數據引擎以及大數據智能分析案例等內容。
我們都處在一個信息爆炸的社會,我們感知世界的方式可以通過搜索等手段轉化成數據,在國內,百度無疑是搜索領域的領頭羊,人們每天用百度搜索,當用戶搜索行為被記錄下來後,數據就形成了。
僅從百度的搜索業務看,作為國內最大的搜索引擎,每天要索引天量的網頁,同時響應天量的用戶搜索請求。根據沈志勇介紹,目前百度擁有2000PB的大數據存儲能力,並且通過數據分析、數據挖掘等手段,百度每天可以處理10-100PB的數據量。在大數據領域上,搜索引擎的數據搜集能力,或者說產生數據的能力毋庸置疑,這也促使百度將這方面的技術運用的爐火純青,可以說百度天生就是一家大數據公司。
其實在大數據的處理方面,智能分析已經越來越引起業界的重視關聯和挖掘大數據已經成了業界最為關心的事情,無論是銀行、保險、電信,還是傳統軟體廠商、互聯網公司、創業公司,都能夠藉助大數據讓自己的生產和運營更為順暢。
可是由於條件所限,很多公司自己做不了大數據,正是看到了這一點,百度做為國內最早進行大數據技術研究的公司之一,大數據技術領域「先富起來的人」,在尋找「先富帶動後富」的,希望能與整個產業界,實現在大數據上的「共同富裕」。
在互聯網時代,一個公司想要發展用戶體驗、實現商業變現、制定決策系統等,離不開大數據智能分析技術的支持。百度在智能分析技術的很多積累,尤其是應用於廣告的超大規模機器學習技術在世界上是領先的。
「如今,百度專門成立了大數據實驗室BDL,並且百度大數據引擎還將百度大腦、百度數據工廠、百度開放雲作為3級開放平台開放給業界,希望能夠憑藉百度的大數據技術推動整個行業的發展。」沈志勇說。
大數據的魔力從預測旅遊到預測體育
在現場,最令聽眾感興趣是分享的百度預測項目實踐。通過小夥伴們支持的百度大數據部的旅遊預測項目和世界盃預測項目向大家闡述了基於百度大數據的預測中的一些技術與經驗。
人流量預測一直是旅遊行業的一大難題,旅遊管理機構和旅遊目的地企業都渴望做到對未來「心中有數」,可是結果往往不甚理想。百度旅遊預測基於百度大數據的預測模型。一方面,百度通過其LBS產品反映了全國所有景區的歷史人流數據;另一方面,從百度的搜索日誌中,得知用戶想去的任何景點旅遊的需求數據,以及該地在近期將舉辦的大型活動、民俗集會等相關信息,還可以獲取對應時間下的天氣、空氣質量等數據。「這些數據通常是按照時間排列的一系列數值,這些因素對目標數值影響的效果在我們採用的模型中被量化、系統化,進而可以預測將來。」
百度對於人流量的精準預測得到了社會的普遍肯定,小長假期間被央視等各大媒體作為預測範本報道宣傳。可以說百度預測的出現無論對旅遊行業宏觀把握和調控,還是對目的地營銷活動的引導,以及對旅遊人流流向和流量的調整,都具有很大的現實意義。
另一個典型的案例是世界盃預測:在2014年世界盃比賽中,包括Yahoo、微軟、Google在內的互聯網公司對比賽進行了基於大數據分析的預測。結果百度的預測是最準確的,獨冠群雄。
除了上述的兩類預測,百度目前還與中國疾病預防控制中心進行合作,基於百度搜索數據來構建傳染病預測模型,結果顯示與病例實際數據具有極高的一致性。同時百度預測也可以進行經濟指數預測、高考預測,並且百度還開放了預測開放平台給業界,如果你有歷史數據,希望預測未來走勢可以通過預測開放平台進行預測。
大數據的未來民生、企業都能惠及的巨大價值
除了預測,百度大數據實驗室還有很多正在探索的方向,這些方向既有惠及民生的,也有服務企業,了解企業需求和真正「痛點」,提供完整的預測解決方案,可以幫助企業實現智能運維/運營。
一個典型的例子是,百度基於對海量大數據的智能分析,可以對使用百度產品的用戶進行畫像,即通過用戶輸入的搜索詞來理解用戶的意圖,從而就能實現個性化的精準廣告推薦提升用戶對廣告的點擊率和對產品的訂單轉化率。
在惠及民生的公益事業方面,近日,百度已經和聯合國簽署協議,建立了大數據聯合實驗室。該實驗室的成立意味著百度將利用自身大數據技術幫助聯合國去解決一些全球性問題。同時,聯合國把百度視為合作夥伴,也說明了百度在大數據智能分析領域的技術實力以及在創新能力上的先進性。
無論是惠及民生的預測還是惠及企業的預測,這些預測能力的背後,都是百度強大的數據挖掘和人工智慧演算法。業內人士指出,現在,很多行業快速積累了大量的數據,但苦於沒有數據分析的技術,無法看透數據中蘊藏的無限價值。百度智能分析技術的出現給了業界關於大數據挖掘的全新可能。
百度是一個大數據公司,有著非常大的數據量,這些信息最終產生了價值,而隨著互聯網的不斷發展目前這些價值正在向連接人與服務的方向發展。未來,百度將持續大力投入發展智能分析技術,並希望開放數據處理能力,把數據思維引入、滲透到傳統行業來促使產業升級。希望未來百度的大數據智能分析技術能夠和行業深度融合,和傳統行業、互聯網同行一起挖掘出大數據的價值,更好的把控未來。
A在現場聽到這麼多BAT的數據實力,實在是被震撼到了。從一般的報表分析到商業智能,從一台機器到上千個集群,從人工運營到機器學習智能運營,大數據在商業、金融、互聯網、醫療、民生等各個領域影響著人們的生活。會後A回家做了很多筆記和總結,感受就是後面一定要多參加這些乾貨的分享會,能夠了解到行業最前沿的信息。
也是從那之後,A徹底迷戀上大數據,這次不再是因為別人都在談論大數據,而是它真真切切地在改變人類的生活。每天會關注大數據行業的重要信息,關注36kr的大數據公司的融資信息,關注最新的技術。
-----------------2015.12.21更新-----------------------------------------------------------------------------------------------------
難忘的春節
年初,A回家過年,很開心,請了幾天年假外加春節的7天,算起來可以休息大半個月了。相信每個人回家過年的心情都是急切而又開心的,每年就盼著這幾天能回家看看家鄉的發展變化。在中國,春節是家人團聚的日子,不管你是身處天南還是地北,回家過年是一種召喚,也是一種責任。A回想起曾經過年的感覺,那時候過年真有趣,家家都充滿了年味。和小夥伴一起點燃五彩斑斕的煙花,此起彼伏的鞭炮聲烘托出濃濃的節日氣氛,還有各種各樣的春節晚會,歡歌陣陣迎新年。
而現在的除了串門吃飯,就是親戚間打牌,沒有了曾經的味道。大年三十那天,高速上堵成翔,也沒有阻擋A回家迫切的心情。大約開車開了6個小時,往常3個小時就回到家。老爸老媽都在家裡忙活著燒年夜飯和打掃衛生,老爸早上提著肉,紙錢和鞭炮去上廟、上墳。在墳前一排跪下,祖孫幾代都埋在這塊土裡,燒紙的飛灰在墳前飄起落下,A閉上眼,感受著先祖的氣息,腦海深處的記憶,家族的血緣在身上流淌。
小時候姥爺指著這片空地說,這是我的,這是你爸的,這塊是你的,是的,那塊兩米見方的就是最終的歸宿,看著那塊雜草叢生的土地,有種恍如人生的錯覺,不管你的人生經歷了怎樣的風景,磨難也好,輝煌也好,終將在這裡止步,在這裡入土。
很小的時候,A比較任性有想法,不願回家,在外面走南闖北,想努力拚斗做出一番成績。那時根本不能理解為什麼要回到出生的地方,也無法理解何為落葉歸根。就這一年,突然理解了。
春節不是一個普普通通的日子,它已經被中國人賦予了更重要的意義。我們害怕失去,害怕失去那些已經習慣的回憶,我們厭煩,厭煩那些我們無法接受的老舊習俗。而人就是喜歡熱鬧的主兒,在歡笑、嬉鬧、開心中,我們才會記得更深刻。
就在今年,A看到央視也在不斷播報著大數據的相關信息,在這團聚的日子裡,最熱門的出行方式仍是火車,但與往年不同的是PC端拼車的關注度超過飛機,一躍上升到第二位。春節除了團圓,年貨的儲備也必不可少,今年除了常規服飾、酒水/飲料外,生鮮成為新興熱門關注品類,位居關注度第三位。春節長假,外出旅遊深受一二線城市年輕人熱捧,與往年不同,今年的境外游關注度遠遠超過國內游,且春節旅遊搜索量移動端高出PC端總搜索量201%。
今年春節移動端搜索量整體大幅度超出PC端,七成用戶的手機搜索行為比平時更多,春節網民在移動端的搜索行為較平時更為突出。春節期間人們習慣於在PC端進行計劃搜索,在移動端進行實時查詢搜索。以最熱門的火車票搜索為例,網民在移動端進行列車信息查詢的行為較多,而在PC端則是火車票購票以及關注購票網址。春節旅遊搜索行為也同樣呈現該特徵,網民在PC端進行出行方式搜索,在移動端則進行酒店預訂搜索。
今年春節期間由於火車票預售時間提前60天,整體拉長了春節周期,春節火車票搜索量相比去年上漲明顯。為期40天的春運,搜索量整體比同期上漲240%,從春運PC端搜索關注度來看,搜索火車票預購佔整體春運的六成以上,而拼車搜索量首次超過飛機,關注度躍居第二位。針對火車票購買,從PC端網民購買火車票來看,最常用的仍為官方網站12306網,其次為去哪兒網、攜程網、同程旅遊網。今年新興的拼車出行,網友最愛上58同城、趕集網、百姓網等網站了解信息。而在本次春節遷徙大潮中,遷出人數最多的屬廣東省,其次是上海、北京、浙江、江蘇,其中一線城市包攬前三位。
春節前一個半月,春節旅遊搜索達到關注高峰,移動端高出PC端總搜索量201%。大家究竟要去哪兒?
今年春節網民對境外游的熱情遠高於國內游,境外游熱門地點包括:日本、泰國、韓國,而國內游首選地點為:三亞、九寨溝、麗江。出遊人群中,20-39歲的年輕人為主要出遊人群,且他們大部分來自一二線城市。出遊機票酒店預訂,網民也頗具共性,最受關注的旅遊網站攜程網、去哪兒、同程旅遊網三家已佔據超過80%的在線旅遊市場份額。
無年貨,不春節。中國人習慣於提前購買年貨,既為一年一度的家庭大團圓做準備,同時也是接待親朋好友的必備佳品。2015年,在網友的年貨採購名單中,除了傳統服飾、飲料/酒水外,生鮮搜索量上升到第三位,便捷的物流加速了食品的流通,新年人們在品嘗家鄉美食之際,也可以嘗到平時少見的新鮮外地食品。
今年春節期間分別出現了兩個年貨搜索高峰,第一個搜索高峰主要集中在購完車票後(1月18日-23日),第二個波峰出現在電商年貨促銷期間,主要集中在2月10日-2月16日(臘月二十二至臘月二十八),淘寶、京東、天貓成為最受關注的電商年貨平台。
提到春節熱點,就不得不提到紅包。今年收發紅包的形式不再像往年一般僅僅局限於當面贈與,而是通過多種渠道、多類平台共同營造節日喜慶氛圍,微信、支付寶、手機QQ、微博等各大平台,藉助春節紅包熱這一突破口大肆進擊,紅包發放範圍及數額均是驚人。
從農曆小年(2月11日)開始,紅包搜索就已日趨上升。在2月13日紅包搜索達到第一波峰值,2月18日除夕當天達到紅包指數最高峰值,其中關注度最高的紅包(由高到低)依次為:微信紅包、支付寶紅包、手機QQ紅包。
除夕上午,騰訊地圖正式推出紅包地圖,並在央視新聞頻道亮相。從上午9點開始,央視新聞微信公眾號準備了2015萬現金紅包,除夕9小時,通過微信搖一搖,參與搶紅包。通過與央視新聞頻道合作,騰訊地圖利用其開放平台的位置定位數據,真實描繪出一幅紅包地圖。
從第一次紅包搖過之後的不到一個小時,一幅生動的紅包地圖就出現了。上午這第一輪紅包,全國共有2200萬人次參與。看,以城市排名來看,果不其然,第一名是北京。
除了北京佔有絕對優勢之外,以全省角度來看,廣東也搶佔鰲頭,浙江緊隨其後,其它地區佔比相對少一些。
這個結果,其實與中國不同的經濟發達程度基本相符。難道經濟越發達的地區,人們越愛搶紅包?
北京、廣東和浙江人民,乃們是不是都不過除夕了,就盯著手機看了?
想更好地搶紅包?這三個地區的上空已經太堵了。
今年春節差點被大數據玩壞了,大家都是刷著手機搶著紅包。而在這背後,能夠支持全國幾億人民同時打開手機搶紅包是大數據云計算平台的支持。而百度遷徙圖也是在時刻監控著全國的遷入遷出流量圖,選擇旅行的可以參考客流量選擇錯峰出行。
今年春節差點被大數據玩壞了,大家都是刷著手機搶著紅包。而在這背後,能夠支持全國幾億人民同時打開手機搶紅包是大數據云計算平台的支持。而百度遷徙圖也是在時刻監控著全國的遷入遷出流量圖,選擇旅行的可以參考客流量選擇錯峰出行。
大年初四,按照年前的計劃,與同學一起去雲南旅行。彩雲之南,雲南是個很美的地方,但是由於現在很多旅客的到達,打擾了那份寧靜。從昆明、大理、麗江到香格里拉,A感受到區別於華東沿海江南水鄉的另一番西南風光。這裡有雲南米線、有耀眼的太陽光線、有淳樸的人民、有美到令人窒息的洱海、也有那一夜成名的艷遇麗江、高處不勝寒的玉龍雪山、他國風光的香格里拉。在這裡沒有工作的壓力,沒有生活的繁重,沒有嘈嘈雜雜的汽車聲,像是來到了鄉下。這裡的山,雲夢縈繞;這裡的水,滿江春意;這裡的花,爭相競艷;這裡的人,淳樸善良。千年歷史,多民族多文化交融,形成了獨特彩雲之南。雲南,素以其美麗、豐饒、神奇而著稱於世,一向被外界稱為「秘境」,吸引著世界各地的遊客。聞名於世的金沙江、怒江、瀾滄江幾乎並排地經這裡流向遠方,險峰峽谷縱橫交錯,江河溪流源遠流長,湖泊溫泉星羅棋布,造就了這塊神奇美麗的樂土。
從世界園藝博覽會舉辦地的省城昆明,到「風花雪月」的大理名勝;從高原水城麗江、神奇的「香格里拉」—中甸,到孔雀曼舞的西雙版納;從「天下第一奇觀」的石林、千姿百態的元謀土林,到世所罕見的「三江」併流,江狹水凶的虎跳峽……這些迥然相異的山川景色,如一個天然的自然博物館,每一位來到這裡的遊客,都會深深地感受到這是一塊博大而充滿激情、深邃而富有魅力的神奇之地。因為路途不像平原那樣的大寬平整的馬路,A沒有選擇自駕,而是坐大巴和火車的方式,不過這一路上也比較艱苦,沒有空調的大巴和遍地都是箱包的綠皮火車,不過能看到沿途的美景也是值了。
-----------------2016.1.7更新-----------------------------------------------------------------------------------------------------
「她」的到來
快樂的時光總是短暫的,一眨眼的功夫已經來到了上班的工作日。年頭一來整個團隊就是在忙著規劃這年要幹嘛幹嘛。團隊leader和像A一樣的數據工作者們,像一群緊密協作的工蟻們,從各自的想法角度去提自己想做什麼樣的項目。有計劃要做機器學習的可視化平台的,有想做金融大數據分析的,也有想做行業指數預測的。
在A看來,這些都可能是今年或者以後大數據這塊會流行的發展方向。
比如機器學習的可視化這塊,微軟就推出了一款azure ML的產品,通過這一平台,客戶可以利用雲計算技術開發基於大數據的應用和應用程序介面(API),預測未來事件,而不僅僅是分析以往已發生的事件。
這款產品基於微軟一些現有產品,例如Xbox和必應的機器學習功能,並提供了預定義的模板和工作流。相對於傳統開發手段,這將幫助客戶更快地開發出預測應用。此外,客戶還可以在Azure ML平台之上發布API和網路服務。
負責Azure ML的微軟企業副總裁約瑟夫·希羅什(Joseph Sirosh)表示,這一平台幫助微軟的客戶和合作夥伴開發大數據應用,能預測並改變未來的結果。希羅什此前曾供職於亞馬遜多年時間。
他表示,前瞻性能力是這款產品的一大特點。
「傳統數據分析幫助你預測未來,而機器學習幫助你改變未來。」希羅什表示。他表示,通過支持模式識別,你可以預測需求、疾病的爆發,電梯何時需要維修,甚至預防犯罪。
希羅什表示,由於帶來了規模效應,雲計算將改變行業發展。此外,雲計算帶來了強大的計算性能,而如果企業試圖自主建設數據中心,那麼需要花費幾周甚至幾個月時間。
「雲計算解決了最後一英里的問題。」希羅什表示。在此類服務出現之前,你需要數據科學家確定數據集合,隨後讓IT部門開發應用,提供支持。在工程上以較大的規模完成最後一步往往需要幾周或幾個月時間。而Auzre ML簡化了這一流程,提供一種方式,使開發者在幾小時內就能開發出同樣的應用。
此外,Azure ML支持開源項目Project R的300多個包,而這一開源項目目前被許多數據科學家使用。
希羅什表示,微軟希望,隨著越來越多用戶使用這一平台開發API和應用,平台上將形成「數據和API之間的良性循環」。他表示:「人們擁有數據,並攜帶數據在Azure ML上開發API。人們連接至應用,隨後向雲計算平台反饋數據,從而推動更多API的開發。」
Azure ML微軟已提到了多個例子,其中包括Max 451。Max 451是微軟的一家合作夥伴。該公司與大型零售商合作,預測哪些商品最有可能被消費者購買,並在需求出現之前確保庫存充足。
卡耐基梅隆大學目前與Auzre ML合作,試圖降低校園建築的能耗。該學校嘗試預測及減少活動,從而降低整體的能耗和成本。
微軟並不是涉足這一領域的唯一一家公司。IBM去年冬季將超級計算機「沃森」作為一款雲計算服務推出,提供了類似的機器學習應用開發功能。上周,一家名為Ersatz Labs的創業公司也推出了深度學習人工智慧雲計算平台。
最終團隊商量決定做機器學習的壞賬率控制這塊,主要出於考慮在資金體量如此龐大的集團,如果能夠降低1%的壞賬率,可以給整個公司帶來巨大的價值。而眼看著團隊也就10個人,而且都是在做演算法應用這塊的,嚴重缺乏相應的開發和前端。
團隊leader開始四處招人,拉資源。花了一個月的時間,相應的資源方都聊過之後,覺得還是可以做很多東西的,就都開始緊鑼密鼓準備開始開干。這麼些天,PM在考慮著整體的業務框架,PD在想著做成什麼樣的產品模型,演算法工程師想著需要哪些數據和特徵,數倉配合進行數據的搜集和清洗。
這天,開發團隊來了一個新同學J,A在看到她的第一眼,內心有些觸動。感覺J是個很特別的女孩。而A也沒有想到,就是這樣一個看起來還不錯的女孩,在以後的工作和生活里影響了A的一生。成為了彼此心目中的soulmate。
---------2017.2.25更新-----------------------------------------------------------------------------------------------------
幸運的一年
這一年是A這幾年最開心的一年,原因主要是圍繞兩個主題。
一是認識到自己心動的姑娘。
二是真正的完成了畢業3年實現了100萬。
團隊剛來的這位J同學,是大家眼裡傳說中的「程序媛」,寫的了代碼,爬的了圍牆,下的了廚房,打的了流氓。所以J在團隊里很受大家的歡迎,畢竟碼農好不容易盼來了一個寫代碼的女生,而且長相還很漂亮,所以都特別開心,平時的話題也都說J說的特別多,而J同學其實是個比較寡言的女生,剛畢業沒多久,所以還不知道怎麼在工作中和同事相處,遇到很多經常來搭話的男同事,也有點緊張,有些不知所措。
細心的A察覺到這些,也是正好一次偶然的機會,團隊中的另一個女同事M,和J都是女生,所以聊得來,所以兩人就相約一起去周邊郊遊玩玩,也同時喊上A一起參加,A也不好推辭就答應了。到了周五的時候,M突然有事說,周末去不了了,就讓A陪陪J。
也就是這樣的一次機會,讓A和J徹底認識了。
周末兩人一起去安徽黃山去,黃山不愧是一座名山,仙氣十足,到處迷茫著詩情畫意。也是這次來黃山,A也愛上了安徽,對安徽改變了以前的看法,沒想到徽文化有這麼濃烈的特色。古色古香的村子,到處插隊的皖牌車,形形色色的鄉民,讓安徽活靈活現。
兩天的時間,A和J相聊勝歡,彼此都認識了很多。而A心中,真正的第一次不想回去上班。就想兩人永遠停留在這一刻。
4月份迎來了阿里的KPI考核,這對於每個阿里的人來說都是心驚膽戰的,對於A也不另外,A自認業務能力和技術能力都沒問題,可是這是個人情味很濃的社會,誰也不知道主管是打著什麼的算盤。而A這時候的心裡也時刻惦記著和J在一起的美好時光,相對有壓力的KPI考核倒是相對壓力減輕了不少。到了月底,幸運的是,還好KPI沒有出現什麼意外,但主管也表示說希望A能夠再接再厲,但A自己心裡很清楚將來的職業生涯和目標是什麼。
5月份的時候,大家都在談論中國股市,鋪底蓋地的新聞都在講證券商的開戶數開創了歷史的新高,而A自己之前也沒有嘗試買過股票,只是自己了解了一些,但聽說都是很悲傷的賠本故事,所以A對股市一直都很保持敬畏之心,覺得能夠在股市上賺到錢的都是運氣和技術過人。而同事也給A推薦了買哪支股票,A也下載了相關的股票軟體,看了看,的確是漲了不少。剛開始先買了相對應的股票基金,投了30萬,每天的利息差不多也有1%,看著每天都有3000塊錢的入賬現金,這是A第一次覺得賺錢可以如此輕鬆,真是躺著賺錢。
而其他的現金因為買了1年期的P2P的關係,所以A也沒有多餘的現金繼續加大投入,這讓A懊悔不已,覺得以後再也不能買定期周期過長的理財產品,影響現金流,也錯過了很多市場的機會。
就在這時,有個同事和A說起了房子貸款的問題,而這個同事也認識那個銀行的客戶經理,A也微信加了那個銀行客戶經理,閑聊的過程中A發現銀行提供了周轉靈活的消費貸30w,這讓A看到了希望,毫不猶豫就辦了都投入到股市中去。
好景不長,在5月底股市迎來了一波黑色星期五,整個股市3000多股票有2000多都大跌超過5%。這讓A好不容易才賺到的10萬利息,一下子就回到只剩7萬。一天就虧了3萬,這讓A親身感受到股市的殘酷。所以A給自己定了個規矩,如果連續兩天跌5%,就清倉。不管是虧了還是小賺,都清倉。也正是因為這條紀律,6月份股市從牛市一下子變為熊市時,拯救了A。
6月份的時候,同學G(A的哥們)和A說了一個很賺錢的項目,是俄羅斯的一個項目,其實這個就是傳說中的「旁氏騙局」。操作的模式也很簡單,就是一個人給另一個人轉賬10萬,過30天後,又會有人再給你轉13萬,這就是傳統中的一個月利息30%。
當時A聽到這個消息,也沒放在心上,感覺這種東西就是不靠譜的事情。過了一個月到了7月份的時候,一次吃飯的機會,G又說起了此事,把他的賬單還曬給了A看。而A真的看到了G每個月給一個陌生人轉賬10w,過一個月後有人給他轉賬,而G也是剛買完房要還房貸,正是這10萬每個月的投入讓G可以輕鬆應對房貸和信用卡。
這次A真的心動了,就試著投了10w給G,說幫忙也投資一下,G毫不猶豫答應了。
這3個月,對於A來說是心驚肉跳的,加入10w虧了怎麼辦,自己這一年就白乾了。然後想想這也是股市中賺到了,如果虧了就認栽吧。
然而讓A沒有想到的是,不僅沒有虧本,還陸陸續續的有人轉賬過來了,這不禁讓A感慨「真是很有素質的投資人」!而G也把A拉進了投資的微信群,群里就像一個傳銷組織,大家暢所欲言,聊著賺錢很快的路子。有曬買了房的,也有曬買了賓士寶馬路虎的。
後面A也陸陸續續投了50萬給G,幫忙打理。就是這半年時間,30%一個月的收益,讓A第一次擁有了屬於自己的100萬。而A也是憑藉著自己的數據敏感和市場覺察,在這個俄羅斯龐氏騙局資金斷鏈之前,及時的撤出了這個騙局。看到有很多人賺錢的,說著冠冕堂皇的道理,而那些後面接盤的,有些甚至是刷信用卡套現的,背上了血本無歸的慘痛教訓,後悔自己再也不做這種事情了。
這一年,讓A學習到了很多,也從一個單純的技術男,搖身變成對互聯網、金融和人心深刻感悟的少年。
也正是這一年的成長,讓A在接下來的生涯中對各種商業模式、騙局都有了新的看法。
——2017.2.26更新
失去的「年味」
轉眼間快過春節,A回想起這一年是過的如此短暫,也想起了之前自己還在QQ空間分享了「30歲擁有100萬」的故事,而自己也沒想到就在自己25歲完成了。這讓A更加堅定了「越努力的人越幸運」的信念!
這個新年,A沒有像去年到處旅遊,感覺每次春運旅遊回來都是身心俱疲,選擇在家好好過下這個年。只是感覺這個年,已經不像20年的過年,大家那麼興高采烈。
原來像父親那代60後,過年對於他們來說,天天過年就好了。那時候的生活用現在的標準衡量肯定夠不上溫飽,60年代這些孩子非常盼望過年。那時候流行糧票、布票及肉票等,什麼東西都是限量供應,所以只有過年父母才會給其添一件新外套、一雙解放軍球鞋。不過,那時候過年才真叫過年,家裡家外,大街小巷,走到哪兒都能聞到年的味道。那時候心裡總在想:要是天天過年多好!如今每到過年都忙裡忙外,有種極不情願的感覺,過年反而成了一種負擔。
而到了像叔叔70後這代,七十年代的農村非常貧窮,可過年的氣氛卻很濃,雖然吃不到什麼山珍海味,但心裡感覺很甜蜜。小時候每到過年村裡家家會宰殺一頭豬,吃豬大腸等下水是最大的享受。上世紀80年代初上小學時,哥哥姐姐都去了市區打工,每年過年回家都會從外面帶些在農村人看來很新奇的東西回來。第一次喝的啤酒就是哥姐從深圳帶回去的,當時感覺很難喝,現在回憶起來覺得特幸福。
再到了80後、90後這代過年,過年的時候最期待的就是大白兔奶糖,把那些沒檔次的硬糖吃掉,留到最後品味,慢慢酩掉外面那層衣,濃濃的奶味隨之而來,美味啊!!!還有西瓜子,是那種大顆的,酸味的。吃到嘴唇皮翹起來了,還想吃。煙花,這個是缺不了的,爸爸每年給我買6根長的,再加一兩個小玩意兒,小年夜放2根,大年夜放2根,初一放2根,小玩意兒一般都是守歲的守到0點的時候放,這幾天就會天天期待天黑,而且要黑透,怕看不到煙花最漂亮的那刻,浪費了煙花。煙花放完,第二天還能當金箍棒玩。每到春節臨近,我就盼望著爸爸從外地回來,每次他回來都會帶給我很多驚喜,等爸爸回來一家人團聚是我最大的心愿。幾乎每年全家人都會一起回老家過年,陪爺爺奶奶姑姑叔叔們。每年大年初一全村人都會聚在一起放煙花,拜祭祖先和土地廟,那個時候感覺自己特別放鬆特別高興。
而現在,一到過年,就是「高速堵車」、「車票難買」、「整個村子冷冷清清」、「什麼時候結婚買房」,這些成為大家都遇到的問題,這個年已經失去了那個小時候天天盼著的味道。大家對「央視春晚」也不像當年那時候準時準點盼著開始。
「顛沛流離」的鄰居蔣先生
雖然年味沒了,可是大家一家人都團聚在一起。A過年這幾天不停的奔波在親戚家,一天要吃好幾頓飯。表弟表妹們都分享著自己過去一年的工作和學習情況,笑聲充斥著整個屋子。
這讓A覺得,這也許就是平凡的幸福吧。
可是A隔壁的鄰居蔣先生一家就不像這樣了,原來隔壁的鄰居可是個大富豪,曾幾何時他是大上海的翹楚。生意做的大到快到這個行業的No.1,以至於幾乎後來去上海的鄉里鄰居都跟著他去混了。
80年代,蔣先生學院畢業後,被分配到了經濟改革研究室。對數字天生敏感的蔣先生很快就得到了局裡領導的賞識,原本可以在這條坦蕩的仕途上享受生活,但是,他對機關的清閑生活並不滿意,他覺得這是對生命的一種浪費。為了追求自己的人生價值,蔣先生有意放棄令人艷羨的機關工作,轉而下海淘金。
對於蔣先生來說,機關生活一開始還比較新鮮,沒有太多的事務,收入也比較高,而且經常還會有下級單位送一些禮品等。這樣的生活對於那些年過半百的人來說,的確是十分適合,安逸無憂,輕鬆自在,但是,對於剛剛20出頭的蔣先生而言,這樣的生活讓他覺得在虛度生命。
90年代的時候蔣先生決定還是從自己的老本行建築這塊做起,自己有這塊的客戶資源,再加上很多朋友都是做這塊的好手。所以天天聯繫上海的各地客戶來談報價,因為都是原來的很多老客戶,對蔣先生的為人也很肯定,所以都託付給蔣先生來接。
到了2000年的時候,蔣先生已經在上海市開了很多的公司,包攬了上海的一半建築市場。
俗話說,風起來了,豬都能飛。趕上了改革開放的浪潮,蔣先生也一躍成為身價過億的富人。
可是好景也不長,身價一下子膨脹到自己無法承受的時候,自己就開始發飄。各種吃喝嫖賭,各種風韻流事,不出所料一年就把家裡的所有錢都敗光了,還背上了幾千萬的負債。過年很多來討債的親朋好友,他也無顏回家,只好躲在外面。後來兄弟和他要分家產,又大打出手,關係也一下子鬧僵,幾年都沒說過一句話。
也正是因為有這樣活生生的現實家庭對比,A覺得親情是多麼的重要。
未完待續。。。
--------------------------------------------------------------------------------微信公眾號:datafa(數據分析聯盟)
微信群:加V 784414374
QQ群:252805327
新書鏈接:
【數據分析俠 《人人都會數據分析》20萬字書籍】http://m.tb.cn/h.AJEkoq 點擊鏈接,再選擇瀏覽器打開;或複製這條信息¥fSnh09F0Vpy¥後打開 手淘
微信群(微信公眾號datafa 數據分析聯盟):
推薦閱讀: