市面上有眾多的諮詢公司在做各種各樣的市場分析,數據報告,可信嗎?
他們如何得到的這些數據?而且很多都報價不菲
有沒有了解這其中的實情?
看了其他的答案,大多數持懷疑態度。我覺得也有道理,但是沒有幫助。我自己的感覺是相反,大多數數據雖然不可信,但是都是有信息量的。
理論上說任何數據都不可靠。中國的 GDP 數據可靠嗎?不可靠。那麼美國的 GDP 數據可靠嗎?我要說一樣不可靠。一個國家一年生產多少東西怎麼可能準確的統計出來,最後用一個數字表示?失業率數字可靠嗎?每個月有多少人想找但又沒有找到工作,這怎麼可能準確的測量?事實是數字的準確度並不重要,而重要的在於方法是否一致,結果是否可重複,以及是否可以從比較中得到信息。
會看數據的人知道怎麼看爛數據,這是高手和憤世嫉俗著的區別。再不靠譜的數據,只要方法穩定,能重複,不造假,那麼同比就是有意義的,數據內部不同組的比較也就是有意義的。再進一步,看一下數據搜集的方法,可以明白這個數據的局限性在哪,可靠度有多少。看幾個不同來源的報告,交叉檢查一下幾個關鍵數字,可以知道誤差大概是多少。所有的數據都視為垃圾的話,你沒法工作了。
所以我的結論是同一機構的數據一般是可以內部比較的。不同機構之間的數據能否比較,這就是很難的問題。不同機構的方法不一,樣本不一,結果往往差別很大,要互相比較,屬於統計學裡所謂的 Meta-Analysis,是非常困難的,對數據的要求也很高。我不認為市面上的市場報告中提供的數據能達到這個質量。
一般諮詢公司的數據都是來源於市場調查,通過郵件、網站、有獎活動、電話等方式。也有使用第三方數據輔助的。由於諮詢公司的問卷設計都是結合統計學+社會學做出的,而且會對調查結果進行誤差分析、置信檢驗等工作,因此結果基本是可信的。然而這些報告也有局限性。
- 數據調查越專業,垂直領域越狹窄,結果就越不靠譜。因為問卷調查只有在大樣本空間下才能保證一定的隨機性,調查目標人群越少,就越難找到合適的樣本。而且調查方向越專業,問卷設計就越容易遺漏關鍵因素,造成樣本失衡,最後偏差就可能很大。
- 如果諮詢公司知無不言,那是很好的,即使結果不那麼靠譜,也有一定的參考價值。怕就怕這些公司為了賣錢,故意隱蔽了樣本局限性,導致受眾對結果理解的極大偏差。有不少反映這種問題的書,例如《統計數字會撒謊》,《統計數據真相》。這裡舉一個書中的例子:調查得出使用Doakes的牙膏將使蛀牙減少23%。但是呢統計公司隱藏了一點,就是被測試用戶僅由12人組成。
- 無法精確統計。統計學分析得到的結論,往往是一個區間,諮詢公司會根據不同調查設定最低置信度和最大置信區間,大多數時候0.8的置信度就算是好的了。所以與實際結果有偏差也屬於正常。如果調查是想得到精確結論,諮詢公司結果的可用性就不那麼高了,因為百分之幾的漲跌,完全有可能是誤差造成。
雖然有以上缺陷,但是針對一些成熟的市場領域,結果還是相當有價值的。可以幫助企業看的更廣,更容易通過對比找出不足,對戰略布局也有很大的幫助。而且這些結果對越小的企業幫助越小,客戶多集中在行業領頭者和大型公司、集團。對這些公司來說,錢不是問題,因此報價不菲也是很正常的。
事實上,市場調查是一個獨立性很強的方向,也是一個很活躍的市場。關於這個方向的發展狀況,可以參照CMRA第一任會長柯惠新教授的回憶錄:http://www.emarketing.net.cn/magazine/adetail.jsp?aid=1077
現狀可以參照零點研究諮詢集團董事長袁岳的文章:http://www.emarketing.net.cn/magazine/adetail.jsp?aid=1018諮詢公司目前還屬於新興產業,難免有些浮躁、不靠譜。不過一些老資格的公司還是信譽不錯的,尤其是可以參照一些公開報告,也不能說是全都不靠譜。我一般採取如下方法進行判斷:
1、首先應該對報告所針對的市場做3個基本面判斷:
a)此行業處在行業發展四段論的哪個階段?(「引入期」「發展期」「成熟期」「衰退期」,用詞可能約有不同,意會);
b)行業規模有多大?是否超過10億元;
c)此行業是否是開放市場?
2、對於處於早期的產業(引入期),市場諮詢公司的數據僅供參考,一般而言和真實情況差異較大。更真實的數據往往掌握在少數行業領導者手中,信息的不對稱性屬於競爭優勢,難以消除;進入發展期且規模達到十億元級別的市場,有品牌的專業諮詢公司的數據會越來越可信;
3、對於規模太小的行業,一般沒有諮詢服務公司的生存空間,因為諮詢業的收入規模太小;
4、對於不開放的市場,與其做市場研究,不如做重點公關和BD;我之前在市場諮詢公司做過,發現目前好多輿論導向,都是把在調研結果的誤差,歸咎到基層的調研數據收集中,我覺得這是片面的思維。通過實際工作經驗中我深深的體會到,有不少調研中遇到的問題,誤差的產生更多的是來自,哪些「所謂」學術研究者,以及一些統計專業的博士、研究生。
她們設計調研方法,更多的是基於理論層面上,缺少實際的調研執行經驗。不考慮實際的調研環境與難度以及問題、流程是否合理。從根本上就錯了,到後期再怎麼提高執行的質量,也枉然。就拿北京新生代公司來說吧,也算是前面的人所說的大型調研公司了。1、她們許多項目都是使用的同一套問題模版,不管什麼行業的,什麼產品。完全是為了自己的數據分析方便。2、之前執行過一個新生代關於某城市的調研,她們在城市地圖上的劃分出來許多區域,在各各區域進行抽樣調研。但是問題處在她們在劃分樣本區域的時候,缺乏前期實際的區域考察,導致多個區域沒有居民戶,甚至有的區域在河上面。
3、問題太多,費用太少、問卷太長。 中國調研諮詢行業的滋潤率太低,而且大多公司在執行調研項目採用的方式方法都是「分包制」。例如一個大公司得到一個項目,然後找各地區城市帶小代理去做。(利潤都在大公司手上,小的代理公司僅僅是得到了一小部分利潤,例如:一個街坊12頁的問卷,分到2線城市代理手中,往往才30~40元/個。她們又怎麼會嚴格按照大公司設計的哪些嚴格調研流程去走呢?)所以,國內目前市場調研,找大公司和小公司,實際上執行的都是各地的代理。那麼調研結果的可信度還是源自大公司對於項目流程的把控,以及項目款的問題。即便是國家統計局,有些項目的數據也很可疑.AC尼爾森的數據比較可信.因為他們路子比較廣.看過一個案例,90年代時AC尼爾森做台灣電視收視率調查,他們跟電視台合作直接給觀眾家裡裝電子終端來收集數據,雖說不甚精確,但已經是很大一步了.
問卷調查類確實不靠譜,但是像Gartner、IDC這類公司很多的銷量數據,他們上游會從廠商的ERP裡面直接導(當然有合作關係,其實大部分廠商都很樂意和他們合作,進個魔力象限可是都會拿出來宣傳的),中游會從渠道那裡查證廠商得來的數據,下游會直接再做一些最終消費者調研,所以數據還是有相當可靠性的(某些廠商虛報的數據他們能搞出一個很靠譜的打折比例給打掉)當然落實到各地區、因為調查人員能力和渠道的差異會有一些不同,但是總體來說數據還都可以
我有過調查和被調查的經驗,只能說,可信程度是堪憂的,除了極少數的權威機構和專業公司。簡單說,嚴謹和精確,是用錢堆出來的。
今天剛好看到一個例子,很適合解釋這個問題。
傳統的市場調研方法,不管是face2face的訪談還是電話訪問或街頭攔截訪問,都會面臨「時間緊任務重」的問題。長達10幾頁的問卷要求在在十幾分鐘至一個小時內回答完畢,僅僅聽完這些問題對人都是一種折磨,更何況多數問題都是結構化和重複的答案。記得有個數字是說一般成人的注意力最多能保持20-30分鐘,非成人注意力僅5-10分鐘。因此,訪問時間超過30分鐘問卷獲得的數據質量都堪憂。
好的問卷設計者會根據題目的屬性(事實描述性問題還是態度觀點性問題)、項目目標(解決什麼問題、細分為哪些小問題)合理的設置題目的題設、答案和次序,並要求訪問員必須嚴格按照要求執行訪問。再從解決問題本身來說,商業問題的出現必然有其客觀規律和原因。看一下這篇文章中舉的例子:試讀章節3. 定位你的角色,維護好你的家庭問題:一家素食快餐店希望增加奶昔的銷量解決方法1:僱傭市場調查公司編寫問卷對進店購買奶昔的顧客進行訪問,填寫調查表格,詢問客戶類似「能告訴我們要怎樣改進奶昔,你才會買再多些呢?你想要這款奶昔再便宜點嗎?再多點巧克力味嗎?還是要再大塊點呢?」之類的問題。結果1:公司根據調查反饋信息改善奶昔,結果奶昔越做越好,但是銷量和利潤沒有獲得增長。解決方法2:還原顧客購買奶昔的消費動機,尋找顧客為什麼「僱傭」奶昔。「我想知道在人們生活中出現什麼樣的任務需要完成時,才會促使他們來這家餐館『僱用』奶昔?」
S1觀察:觀察顧客什麼時候來買奶昔?他們穿什麼樣的服裝進來的?是一個人來的嗎?買奶昔時有沒有買其他的食物?他們是在餐館吃,還是開著車打包帶走?—— 通過觀察、記錄,我們得到了一些令人吃驚的數據:幾乎有一半的奶昔是早上賣掉的,來買奶昔的幾乎都是一個人,他們只買了奶昔,並且幾乎所有的人都是開車打包帶走的。
S2訪談:為什麼是奶昔,有哪些替代品?綜合以上兩步得出有意義的結論:原來所有顧客每天一大早都有同樣的事情要做:他們要開很久的車去上班,路上很無聊,開車時就需要做些事情讓路程變得有意思點兒;他們當時還沒有真的餓,但是他們知道大約2個小時後,也就是上午和中午的中間時段,肚子就會咕咕叫了。 對比上述兩個問題解決策略,方法1是傳統的市場調研方法,沒有錯誤但很難獲得解決問題的有效信息,而方法2則用價值的多。因此,採集數據的出發點,數據收集方法,數據的解讀和利用,都決定了數據的質量和可信度。呵呵,某人又犀利了。談下自己的想法:
我認為該問題可以分為幾個層級:1,數據可信不可信?2,報告可信不可信?問題一:數據本身可不可信要按信效度來看:
來源是否真實?數據是否符合意義?
一般來說不同的諮詢公司數據來源不同。調研公司主要來自問卷,座談會和各種設計好的測試數據,這部分數據並非real purchase behavior,是模擬交易數據,即實驗數據。可以用來挖掘觀點,你要追究數據準確性那你就輸了,另外,據我在這個行業待過的經歷,呵呵,有些並非如此嚴格,而且看到的一致性往往是湊的。這是信度,再說效度,因為數據本身是為了激發靈感,發現觀點,本身就是需要主觀解讀,座談會的一句話,問卷上的一個勾背後的原因全憑人猜,數據到底表達的是什麼,反映的什麼,基本你說不清它到底是不是你想的這件事兒。但是,這不重要,重要的是你通過它有了idea。營銷諮詢里有一大塊是借用的品牌銷售數據,首先,這樣的數據是真實交易數據,反應真實行為。數據本身信度沒有問題,除了那些非交易信息(profile,feedback等)。而效度呢,線下數據一般效度比較好,網路數據就比較難說,因為行為的意義是靠一些cookie數據解釋,問題是目前看來一個cookie揭露的行為到底什麼意義還有待研究,比如打開率是指郵件被打開的比率,問題是其實它的含義是郵件附帶的1px小圖片被打開的比率,但因為接受方用的代理可能拒收圖片,或是別的原因,其實它不能準確反映行為,這是個老例子了,可能目前已被解決,有興趣可以去關注一些網路營銷分析的文章。所以線上數據的效度需要考究。還有些決策諮詢公司擁有些行業數據,一部分也是來自調研預估,另一部分可能借用官方的數據,比如國家統計局,或者是私底下要到一些企業的總體銷售數據,把這些數據整合併根據經驗預估出一些可以間接映射行業環境和趨勢的數據結果。信度么難說,因為數據源複雜,效度么,看經驗的,往往大方向是對的吧。問題二,報告的結論可不可信?報告除了剛才說的數據信效度,還有一些較主觀的因素。調研公司數據信度不佳,效度也不佳。報告質量主要靠作者的經驗猜測總結,對數據可靠性的校正和是否creative,能想到別人想不到的。營銷諮詢數據信度可以保證,效度看類型。而報告的質量主要兩方面:第一,數據完整性,如果我只知道交易信息不知道是誰買的,我就不知道這個人行為的規律;或者我只知道ta不買一個品牌的乳霜,不知道是不是在其他品牌或渠道買過乳霜,那我也不確定ta是不是就不喜歡用乳霜;隨著大數據時代的到來,數據間的聯繫的增強會越來越多的反映了一個人連續而完整的行為模式,這種局限性會被打破。第二,數據處理方式和角度,統計是比較有信度的處理方法,但學統計的大概都有感觸,一個問題界定好,僅僅取樣大小不同(但都符合標準),可能結果就已經不同了,更不要說方法,操作規則不同了。更何況,同樣的問題,界定方式也會不同,導致角度不同,後面就更扯遠了。因為帶了主觀,所以客觀評判可信不可信是很難的。但是為什麼有數據的企業還需要諮詢?買的就是主觀經驗,同樣一堆數據,你不知道怎麼看,別人知道。而且別人看過很多數據,他看到的數據比你完整,他可以糾正你光從自己的數據里看到的觀點上的偏頗。這才是諮詢報告的價值。決策諮詢就更依仗個人經驗了,這部分有些高端,就不評論了。可信不可信,本就非客觀問題,以上僅供參考。
如果你知道他們的報告是怎麼得來的,你就明白有沒有譜了。我做媒體的,媒體的收視率的調查方法,足矣讓人冒一身冷汗。想想統計局的數據吧,想了解行業和市場,唯一的方法就是走進客戶中去,別無他法。
我覺得是看趨勢而不是具體數字另外……如果市場上的大家都用一樣的數據源,不管它是真的假的,都是有用的
看了樓上所有回答,基本連樓主問的問題都沒有看清楚,就肆意的回答,樓主問的 諮詢公司做的市場分析,數據報告可不可信?
一回答,可信!這個問題就如我們問這個東西好不好吃,同理,食物有人排斥,有人接受,但不可否定的作用是它是一個可以用來充饑的東西,就拿一份市場分析報告做案例-光伏發電研究報告_2013-2017年中國光伏發電產業市場前瞻與投資戰略規劃分析報告對於光伏行業的企業和工作人員來說,這份報告存在的價值遠遠大於一袋米給予他們的價值,因為數據和分析,可以給予他們對這個行業,對市場一種敏銳的判斷依據。那麼對於我們這種屌絲級別從事零售業,這份報告有意義嗎,沒有任何意義!也就是說市場分析報告這種產品存在有意義,有用戶需求,自然報告產品值得不同細分行業用戶花費你可以從三個角度來思考這個問題:1)數據的收集方法,具體就是如何抽樣及具體的數據收集過程;2)分析的框架思路,他們到底是通過什麼樣的處理方式得到結果的;3)你準備怎麼樣用這些數據,作參考還是別的什麼?
據我所知,他們在第一步都做不到。很多都是用的「方便抽樣」,這個你應該懂的……其實你可以問他一個問題:你的抽樣框是什麼?一個問題下來,數據的可信性也就知道的差不多了。數據報告在一定程度上反映了某些行業的發展現狀的,可信度的話不能100%可信,只能說做一個參考,而參考可靠性就得看各種諮詢機構所採用的數據調研方式了。像我現在所在的公司時不時就會去艾媒那邊定製一份報告,可以從艾媒諮詢報告商城下載或者發布定製報告信息,可靠性比較高一些。所以,如果要做,還是找這些比較靠譜的。
第一手數據就挺水了,怎麼可能得到靠譜的結論
最近也在著手準備找一些諮詢公司就所在電子商務行業在某些區域內的發展調研報告,從信度跟效度方面而言,我覺得更多會看一些行業的大數據,如果要一些精準的數據,估計也不太可能,畢竟樣本有限。但是對行業的發展方向可具備一定的參考性。
1 不可信2 我曾經和ccid合作過一份報告,我是甲方,合作的這份報告是用於忽悠投資者的。。。3 報告裡面很多宏觀數據和市面上的數據相似,但是做為一些特殊的數據就全是個性化定製的了,完全根據甲方的要求來的,so。。。
1 不可信2 不清楚 這就是貴的原因吧3 數據報告 就像被打造的流行歌手,有人愛聽孫燕姿,有人愛聽周杰倫,有人愛下里巴人的,有人愛陽春白雪的,這是有市場的。周杰倫的歌詞有幾個聽懂的,大部分是去唬人用的,真正去欣賞歌詞的也是少數人了。數據本身並不能生錢的,能看出其中門道的人自己去賺錢了還等在辦公室慢慢做報告嗎?
推薦閱讀: