如何分析滴滴出行的用戶評論
摘要:本文介紹一種分析評論反饋的系統化方法。這種方法基於內容分析(Content Analysis)研究方法,但是十分簡單有效。
為什麼要分析評論反饋
任何2C的產品都避免不了海量的用戶評論/反饋,這恐怕對普通用戶來說,最直接的向產品表達看法的途徑了。如果能夠正確地分析這些評論,發現關鍵問題,產品就不會走向歪路……不過可不容易。很多產品對用戶評論的重視度並不高,即便願意花費精力去分析,即便分析了,使用的方法也是五花八門。
我以前實習的時候做過一種「打雜」的工作,就是回復用戶反饋。我那時在1禮拜之內將反饋的回復率提高到了大約80%,只剩20%實在無法理解的才沒有回復。我那段實習經歷中不乏重要項目的策劃、設計和實施,但是我卻覺得那段回複評論的「打雜」是讓我收穫最多的工作,也是對產品收益最大的工作。
有人也許想說,現在有的是分析工具、人工智慧來做大數據分析,還需要人工分析評論嗎?我們現有的工具,大多只能對文字做一個非常粗略的統計,而無法真正理解文字背後的意圖,所以真正有價值的工作,還是脫離不了人力。
該用什麼方法
現在用研也不是什麼罕見工作了,分析用戶評論的方法非常多,而且誰都可以自創一種。我並不覺得有什麼方法是一定好的,有什麼是一定不好的。不過,學術界有一個叫做內容分析(Content Analysis)的領域,專門研究文字、媒體信息,半個世紀的時間裡有很多人通過研究分析,終於找到了一套較為成熟的方法。我想,花費眾人半個世紀才研究出來的分析方法,應該還是經得起考驗的吧。所以,我決定在這裡介紹一個以內容分析法為基礎的,分析產品評論和反饋的方法。
系統化的內容分析最早是在1927年被一個叫做 Lasswell 的人用來分析政治宣傳內容,也是挺神奇。接下來的二三十年代里,內容分析被用來研究當時快速發展的電影領域。五十年代隨著電視的普及,內容分析成為了大眾傳播研究的重要手段。到了現在,內容分析以及開始運用於網路社區以及評論的分析研究。
Lasswell 最早給內容分析的定義是這樣的:「誰說了什麼,通過什麼渠道,對誰說的,有什麼影響」。
然而在產品評論和反饋這種單一場景中,這個定義裡面剩下「誰說了什麼,對誰說的」有意義,減輕了不少複雜程度。
進過這麼多年的發展,內容分析其實早已不是一種單一的手段,裡面涉及到了很多新的因素,例如多媒體內容分析、定性分析、計算機分析等等。但是真正發展成熟、被廣泛認得的,還是比較傳統的文字定量分析。我打算在這裡介紹的,也是這種已經比較確定的方法。
分析步驟
別看前面扯了一大堆,其實這個方法非常簡單,其最大的價值不過是標準化而已。為了方便理解,我使用了應用寶里滴滴出行的評論作為案例。
1、選擇樣本
這裡的樣本也就是指產品評論和反饋的內容了,通常不要少於50條。不過需要注意的是,參與分析的人必須完整讀完所有內容,所以要量力而行。為了以後方便維護,可以給每一條加上編碼。
下面是滴滴出行在應用寶里的50條最新用戶評論:
2、設計分組*
你先把前25條通讀一遍,寫下可行的分組計劃,例如「支付問題、下單問題、登錄問題」等。這個分組設計以後可以調整,但是這裡需要定製一個初始計劃。
25條這個數是針對不太複雜的產品而言的,如果是像微信這種什麼功能都有的產品,那這個數量就不夠了。如果產品模塊和功能較多,可以先將各自的評論和反饋區區分開來,再進行分析。
如果是自己獨自完成,只需寫下分組名稱就好了。如果維保準確性,多人同時進行,則需要給每組寫下描述和規則。
下面是範例:
3、完成分組
按照通過前25條設計的分組方案,閱讀其餘的內容並完成它們的分組。在這個過程中,如果發現先前設計的分組方案不合理,可以進行修改。
以下是滴滴出行的分組範例:
4、記錄關鍵問題和現象
在分組過程中或之後,仔細閱讀評論的過程中肯定會遇到一些關鍵的問題和現象,你一定要在發現的第一時間記錄下來,不然後來肯定就忘記了。
這也是通讀評論的價值所在,通過一條一條的理解,很多真正的問題都藏在粗略的文字背後。例如,滴滴出行的反饋裡面多次出現「相同路線來回價格不一致」、「預估價格與實際價格相差過大」等評論,它們是不是都指向一個問題——「缺少價格解釋」?
滴滴出行的範例:
5、統計分析
如果你整個分析都是在Excel里完成的,那麼統計起來就方便了。你可以算一算正負面評價的比例和最受關注的問題。
不過,最有用的分析可能挺不是這些定量的數據,而是你記錄下單關鍵問題和現象。通過整理,你會發現很多之前沒有想過的問題,只有真正一條一條閱讀分析才能挖掘出來。
範例:
其它
一個人的判斷不一定準確,所以這種分析可以叫上兩個人同時進行,這樣的話分組規則就不能輕易修改了。兩人分別分組之後,可以計算一下兩人得出相同結果的概率是多少,通常要80%~90%以上才能夠確保結果的可信度。
分析關鍵問題這一步驟其實已經超出傳統的定量分析,借鑒了一些定性分析的成分。因為這畢竟是產品的用戶調研,不像心理學研究那樣要求絕對的準確率與客觀性,所以這裡就可以不用太過拘泥於方法,關鍵是一定要通讀並理解所有內容。
評論和反饋中肯定有相當一部分是你無法理解或是與產品無關的,這些內容可以跳過不計。
總結
內容分析的方法畢竟太過專業,真正做的時候可以有一定的靈活性,但是這四條不能忽視:
- 保證內容的數量在50條以上,但也不用太多
- 一定要通讀並理解,不要隨便掃一眼或者乾脆搜索關鍵詞
- 謹慎並且不斷優化分組規則
- 透過現象看本質,隨時記錄發現的關鍵問題
標註:*我使用「分組」這個詞,與英文中的「coding」有很大差異。但是直譯的話會容易讓人產生誤解,所以使用了感官上較為模糊的一種翻譯。
未經允許請勿轉載
推薦閱讀:
※一張圖總結如何撰寫用研報告
※如何進行基於「滿足需求」的用戶研究
※用戶洞察在營銷實踐中的運用(上)
※[譯文] Dropbox Photos 可用性測試
※LOFTER、知乎、簡書web端「寫文章」功能差異交互分析