產品迭代測試

05-05

前段時間面了一個contractor，我剛收到candidate簡歷的時候就被小震驚了一下，十幾年的sensior ux設計師研究員的工作經驗。面試的時候然後果不出所料，對各種問題也是對答如流，說起調研從recruit說到shareout，說起交互從specs說到jira，反正就是甩我這個職場小透明幾條街。但是後來和其他人討論對他的印象的時候，我聽到一句話還是蠻觸動我的，就是這個candidate很多時候是在空談。於是我回顧了自己的作品集和文章，發現好像也有這個問題。所以這篇文章我決定寫一下最近自己lead的一個調研項目。

其實作為一個設計師很多時候在產品進行大迭代的時候很多時候都要track自己的設計。這次調研也是基於兩代產品對於同一類用戶的對比。

——————————————

本次研究的契機是前段時間做的一個新產品測試，用戶也普遍反應喜歡新產品，但是反饋最多只能是定性反饋，於是我就在想能不能做一個定量的測試來證明新產品確實能夠提升用戶的滿意度和效率。

我用的方法是用戶測試。首先要確定的是我的用戶是誰，由於第一次測試我們招募的都是expert user，所以這一次招募的是新手，這樣就可以有兩組對比，第一組是新用戶用兩代產品的對比，第二組是新老用戶同樣用新產品的對比。具體方法就是讓新用戶在兩個產品上完成同樣的tasks，然後對比他們完成情況包括時間/出錯率/滿意度等，最後完成一個sus表格。整個項目大概有三周左右。通過這次測試也讓我深刻意識到新用戶和老用戶對於同樣的產品使用的不同性。在設置用戶的tasks的時候有一點非常重要就是一定要確定這是一個task，而不是一切repeated的工作或者不會發生的場景。

測試過程基本還算順利，這也是我第一次做moderator，一般公司都對於這類測試有固定的流程，就是要說把那些事情說清楚，要think out loud，我們是test product之類的很固定的句式。btw,還是蠻感謝同事給我這次機會的。這裡我強烈建議剛開始做測試的new moderator最好有一個checklist，上面列清楚每一條測試的用品並且由誰提供。我這次就差點第二天測試了裝備還沒準備好。這個checklist還是我還是從同事那裡看到的。

測試完成之後就是數據分析。對於quantitative的數據我們有個表格，把所有數據輸入進去以後就算出了系統的usability和learnability，毫無疑問的新產品完爆舊產品，然後列舉了三個原因。但是僅僅有定量的數據還不夠，我又分析了一下定性的反饋，為什麼新產品被喜愛。後來做彙報的時候，我發現一個小特點，就是大家喜歡看到的是數據和quotes，數據不是說我測試了五個人，三個完成了所以完成率是60%，而是同時能有一個置信區間。

第二點比較重要的信息是在用戶使用新產品的時候他們會把對就產品的mentalmodel遷移過來，這點對於設計帶來的啟示就是如果有一些比較重要或者常用的interactions，為了用戶方便還是最好儘可能的保留其原有操作習慣，如果不能保留的話也要考慮怎麼樣去mitigate這種差別。然後我做了一張radar chart來對比兩個產品。

——————————————

這次research 也促使我開始想到底應該用一個怎樣的shareout。有很多種報告的方式比如傳統的report，各種presentation，簡易的網頁等等。我這次是做了一個幾張handouts。如果只是簡單的定性研究，內容也是組內分享的話完全沒有必要寫一份詳細的report，但是記得有次看到同事準備給svp彙報，是把所有ppt刪減到很少然後列印出來作為reference，效果也很好。

一年的實習結束了，還是有點小感慨。繼續加油啦。