目前創辦一家數據挖掘的公司難點在哪裡?

比如技術,市場/客戶。


2013年5月10日,在淘寶十周年晚會-馬雲退休演講中,馬雲說:這是一個變化的時代。還有人沒搞清楚PC,移動互聯網來了;還沒搞清楚移動互聯網,大數據來了。而變化的時代是年輕人的時代。

馬雲說的這句話很關鍵,他不僅提到了大數據,而且更是用一句話闡述了互聯網從PC時代,進化到移動互聯網時代,然後從移動互聯網時代進階到了大數據時代。有幾個關鍵點很重要:

PC時代,全球催生了大量的互聯網上市企業,包括谷歌、亞馬遜、新浪、搜狐、新東方等等;

移動互聯網時代,中國創業熱潮風生水起,不僅有大量的移動互聯網(包括手游)企業赴美上市,更是誕生了無數個創業奇蹟;如:陌陌科技公司、中國手游娛樂集團有限公司均在納斯達克上市;飛魚科技、雲遊控股(Forgame)和藍港互動均在香港上市;而掌趣科技和北緯通信在深圳證券交易所成功掛牌上市。移動互聯網不僅為我們的生活帶來了便利,更是把創業熱潮推向了歷史最高峰。

現在問題來了,大數據時代,創業熱潮是不是應該比移動互聯網時代更加熱鬧呢?大數據時代如何創業?大數據創業的門檻又有哪些呢?

先回答第一個問題:大數據時代,創業熱潮是不是應該比移動互聯網時代更加熱鬧呢?

據我了解,不是。走在中關村創業大街上,你能收到的100份融資BP里,可能有99份都是APP和O2O項目,但99家裡90%以上會重視大數據。

那麼大數據時代如何創業呢?請先了解一下大數據的創業門檻。

門檻一:數據

大數據大數據,沒有數據怎麼玩?那麼數據從哪裡來呢?

像百度、騰訊和阿里巴巴這樣的BAT企業,本身就積累了大量的數據,所以他們玩起大數據來,多半是「悶聲發大財」。當然了,也可以舉幾個BAT企業玩大數據的例子,比如說百度旗下的「百度遷徙」、「百度精算」、「百度輿情」、「百度大數據預測引擎」等等,都是百度的大數據產品應用;阿里巴巴的話,「阿里雲」、「支付寶-花唄」、「支付寶-借唄」「芝麻信用」、「螞蟻金服」等等,都應用了大數據技術。而騰訊方面,「騰訊廣點通」、「騰訊雲分析」和微信等也都應用了大數據技術。

爾等屌絲沒有數據,如何玩呢?

首先,你可以通過第三方購買數據,比如說,數據堂就有很多數據出售和分享;

其次,你可以用爬蟲爬回一些數據來存儲;

再者,通過給企業、開發者、站長等等授權使用大數據工具來積累數據。這方面的新創企業包括Talkingdata、友盟和DataEye等。

最後,使用免費的政府、企業、和機構開放數據。比如說高德數據的API介面和微博商業數據API介面等等。

總體來說,解決好數據源是大數據創業的必要門檻。關鍵看你創業的項目是什麼。

門檻二:硬體

在北京,我曾經參觀過一家大數據初創企業,當時他們還沒有拿到融資。我去他們的辦公區發現一幕特別心酸的事情。他們的員工擠在一間很小的屋子裡辦公,而兩件較大的屋子都用來安放大數據存儲伺服器。

大數據的存儲量是很驚人的,這對機房和硬體設備也提出了新的挑戰。這一點和移動互聯網不太一樣,你做一個APP,用電腦搞開發,伺服器用雲伺服器就行,按需購買。但是大數據不行,你沒法把自家的數據存儲在別人的雲伺服器上,一方面是安全因素,另外一方面也有產權因素。硬體也是大數據創業的門檻之一,但不是最大的門檻。

順便補充一句,我曾經參觀過的那家大數據新創企業,目前已完成百萬美元的A輪融資,現在他們家的辦公區特別寬敞,恭喜星圖數據。

門檻三:人才

我認為大數據創業的最大門檻在於人才。和做APP不一樣,大數據創業你一個人乃至幾個人都是沒法玩轉的。初創企業你就往10-15人這樣的團隊先招人吧,這樣的團隊要包括Hadoop工程師、演算法工程師,數據建模工程師、架構師、NoSQL工程師、BI工程師等等,全都是技術要求較高、薪資要求也很高的人才。大數據人才有多貴?在美國,在R、NoSQL和MapReduce方面需求的專業人才薪水達到了每年約11萬5千美元,在中國也便宜不到哪裡去,沒有年薪30萬,你很難招到一個大數據人才。

據中國商業聯合會數據分析專業委員會統計,未來中國基礎性數據分析人才缺口將達到1400萬,而在BAT企業招聘的職位里,60%以上都在招大數據人才。也就是說,技術很牛的大數據人才,他的選擇面很寬,要麼早就進入BAT企業,要麼也是在不錯的企業拿著高薪,你要挖這樣的人才,除了錢,股票、期權、福利等等,都是必須付出的代價。

2015年-2016年是大數據人才最為匱乏的兩年,原因很簡單,各大剛剛開通了大數據科目的院校,學生還沒畢業;而招聘市場上的大數據人才需求量遠遠已經供不應求。除了BAT企業,通信企業、電力企業、金融銀行行業、醫療行業、工業、遊戲行業等等,哪個行業不是都在招大數據人才?創業公司要在這麼嚴峻的人才環境中找到適合自己的大數據技術人才,門檻可不止是錢。

門檻四:技術

說了人才,就要說技術了。大數據技術不是你懂C++或者R語言就夠了的,大數據有一整套自己的技術體系,包括統計、編程、JAVA、資料庫、Hadoop、Spark、NoSQL、機器學習、自然語言處理、演算法、數據可視化等等技術。光是Hadoop需要用到的技術和編程語言就有很多項。而且市面上的大數據工具每家用的還不一樣,用開源軟體(如Hadoop、Spark)或者用SAP(SAP HANA)需要的技術也不一樣。技術要求較高,而擁有大數據綜合技術的人才又較少,這也成為了制約大數據創業的最大問題。

門檻五:錢

其實我不想寫錢,但是又必須寫錢。大數據行業創業不缺資本,只要你創業項目的商業模式沒問題,並且技術能力強,且團隊靠譜,無論在中國還是在美國,融個A輪還是沒有問題的,資本關注度很熱。但是你在拿到融資之前,自己啟動的資金就需要一大筆。人才、硬體和技術成本都較高。這麼理解吧,如果說,幾個好朋友湊50萬花3個月可以做一個APP項目,那麼要在大數據行業創業的話,請先準備600-800萬再來玩。

門檻六:商業模式

中國互聯網上最賺錢的行業是什麼?我認為是電子商務和網路遊戲。電子商務和網路遊戲也是互聯網變現最快的行業。而大數據,它的變現能力不如網路遊戲和電子商務那般簡單直接。在我拜訪過的很多企業中,他們手裡有錢、有數據、有人才也有技術,但是他們不知道自己手裡的數據可以拿來做什麼。也就是說,大數據目前沒有最明朗最直接的商業模式。

大數據只有和業務場景結合,才能產生價值。

大數據就像石油原油一樣,你知道它在哪裡,你可以開採它,但是開採出來你還需要冶煉,並且經過減壓蒸餾、加氫精制、溶劑精製、溶劑脫蠟等煉製過程,成為成品油後運送到各個加油站,讓汽車加滿油後產生了動力才實現最終價值。大數據也一樣,需要一整套複雜的過程才能實現商業價值。

那麼你可能會問了,大數據交易算不算是商業模式呢?

我個人覺得,要看交易的是什麼東西?原始的非結構化的數據,後面數據清洗需要太多的工序,數據存儲也是很大的成本,這樣的交易代價太高。我相信無論是企業用戶也好,還是個人用戶也好,大家更傾向於購買「拿來就能用」的大數據數據源。

你說京東和騰訊完成首筆大數據交易,我覺得就是一個笑話,京東和騰訊的大數據不早就整合在一起了么?我用微信直接就能在京東購物,數據是互通的,何必交易?

所以說,大數據創業最難的還是在於商業模式的思考,如果你沒有找到一條讓大數據變現的渠道,那麼千萬不要忙著拉團隊創業。大數據行業創業,光有idea是不夠的,跑通整個商業模式才是關鍵。

回答最初的問題來,大數據如何創業呢?我認為是:

一、找到一個大數據商業突破口;搞清楚你要用大數據解決什麼問題,你的用戶是誰?商業邏輯是什麼?

二、找到一筆啟動資金;

三、最好自己就懂一些大數據相關技術。

四、找到幾個可以與你同甘共苦的夥伴。

五、找到你的數據來源,最好是獨家的數據來源。

事實上,其實我認為目前不要著急去做大數據項目,做大數據處理工具是個不錯的方向,可以先從做BI(商業智能)、CRM、ERP系統開始,等你有了客戶,有了數據之後,迴轉頭來做大數據項目,會更加水到渠成。

參考http://www.36dsj.com/archives/28653


你是這方面的人才或者創業者的話可以聯繫聯繫。


還是如何落地的問題,數據挖掘的範圍太廣,說起來太虛。還是先回答這幾個問題再說:

你能夠解決什麼樣的客戶怎麼樣的痛點?

你的數據挖掘技術有什麼優勢或門檻?

你的挖掘效果如何有效驗證?

這主要還是一個技術和產品驅動的活,先解決技術和產品的問題,再談怎麼鋪BD吧。


數據挖掘公司我覺得最關鍵的是:你能為社會或者客戶帶來什麼好處。。能提高效率呢、還是能發現新的利潤增長點?

既然是挖掘,那首先你得有可挖的數據源,這個源你如何獲得?如果獲得了數據源,那經過對數據的清洗,關鍵還是在數據分析上了。

你的分析思路和分析報告,對客戶的利益要害作用有多大,還需要進一步觀察。。

共勉吧


很多人都提到了幫助客戶的問題,其實還可以延展一下,那就是:客戶為什麼需要你的數據挖掘?

這個問題必須由你告訴客戶,你的公司也是才因此有競爭力。需知你的客戶如果已經知道他們要達到的目的是什麼,那你的公司是公司嗎?不是,你只不過是幾個數據民工的包工頭罷了。

所以我認為在現在的條件下開一家數據挖掘公司最重要的是對目標公司的清晰認識,這需要你具備管理學、組織學等相關知識和非常豐富的經驗。


說的有些誇張了。數據挖掘的產業鏈覆蓋多個範疇,小團隊只要專註在某個領域自然會有所斬獲,前提是小團隊確實有人才


我覺得最難的還是技術實現,和前期的客戶需求挖掘,現在很多客戶不了解大數據,也不知道自己想用大數據做什麼?所以就得一點一點的挖。我開了一家數據分析師事務所,有機會可以合作。


找人才比較難。


你問出這問題,就基本告別這行業了,咱創辦個容易的吧!


有一部分來自數據本身獲取


我覺得,數據挖掘是從海量的數據中提取規律,首先你得有巨大的數據量,然後有相應的市場,客戶,當然,有經驗的技術人才和懂得如何轉換需求的挖掘工程師也是很重要滴。


找到你的用戶,把他們的需求發掘出來。對數據的使用,絕大數公司都不是自覺的。


我認為數據源的獲取以及數據的隱私保護都是難點啊


很想知道


推薦閱讀:

如何自學數據產品經理?
Freebase 關閉之後,最好的替代品是什麼?
大家對人工智慧醫療怎麼看?人工智慧醫療應該著重往那個方向發展比較好?

TAG:Python | 數據挖掘 | 數據 | 大數據 | 數據挖掘工具 |