如何量化 UE、UI 績效標準?

不吝賜教。


正如大家所說的,用戶體驗的績效是很難真正量化的。現實中,用戶體驗人員或部門的績效量化主要是為獎金、升職的評定,而不是為、也不能衡量用戶體驗的價值。我傾向於從以下幾個方面考慮制定用戶體驗績效量化的標準:

用戶體驗人員的業績考核
以企業內部的用戶體驗團隊為例,可以主要從下面幾個方面評估用戶體驗人員的工作:

  • 完成設計或研究的質量和效率。衡量專業能力,可以參考用戶體驗評估的方法,並結合工作合作夥伴和用戶的反饋。
  • 推進和溝通設計或研究的態度與方法。衡量協作能力,光提出好的解決方案不行,還要高效的推進方案的實施。
  • 提高用戶體驗在企業中的認知和意識。通過講座、工作坊,建立和梳理規範,收集整理設計資源和模板,建議改進工作流程等,推進整個企業的用戶體驗工作。
  • 推動產品改進和創新。跨產品工作的用戶體驗人員更有機會比專一的產品經理、工程師發現不同產品之間相關聯的問題和機會,應鼓勵由此推動產品改進和創新。

另外,用戶體驗人員常常跨產品、跨團隊工作,在考核上需要綜合多方反饋,就他們所參加的項目給予不遺漏、不過分,公平公正的獎勵。

用戶體驗團隊的業績考核
用戶體驗團隊首先是一個業務部門,和技術、運營團隊類似,都要有相應的業務考核標準,通常也要有團隊之間的互評。但是用戶體驗團隊還有一些特殊之處,需要額外的考核機制。

用戶體驗團隊不僅是用戶體驗工作的主要承擔者,也必須成為企業中提高用戶體驗意識、普及用戶體驗知識的推動者。發起講座、工作坊,分享用戶體驗資源、案例,讓更多不同職能的人員具備基本的用戶體驗設計與研究知識與技能。建立設計規範、資源和設計模板,推薦設計工具、做使用培訓,讓產品經理、工程師和其他設計師能夠更高效的開展用戶體驗工作。建立定期的產品用戶體驗評審機制,組織用戶測試和數據研究,讓產品的用戶體驗質量控制體系逐步完善。

用戶體驗團隊對企業的貢獻可以不僅僅局限在產品的用戶體驗工作上,還可以拓展到改進「企業」本身這個產品上——留心觀察、採訪一下身邊的同事,你會發現大家在平時的工作中有許多不盡滿意、有所期許的事情,有些可能是小事,比如前台的訪客管理,食堂的客流引導,會議室的投影設置;有些則不見得是小事,比如怎樣的辦公桌椅搭配最有利於員工的健康,怎樣的會議室設置能滿足大小會議的需求並且利用率最高,有什麼工作流程或方法有問題、如何改進。這些改進和你的產品沒有直接的聯繫,但卻是高效、愉快工作的基礎,會在潛移默化中影響你的企業和產品。

優秀的用戶體驗團隊和具有優秀用戶體驗的產品更是一個企業的名片。用戶體驗團隊以其獨特的視角和思維方式,可以從產品、運營、營銷、品牌、招聘等方方面面為企業找到獨特而又高效的運作方法。一些公司的優秀用戶體驗團隊在網上開設博客和微博,討論、分享用戶體驗的知識和經驗,這有利於建立積極的企業形象,也有利於整個行業的進步。

另外請參見「UED 在公司里的定位和價值是什麼?」:http://www.zhihu.com/question/19563398


兩個問題:
1. UE/UI 團隊績效
2. UE/UI 本身的量化評估

前者是管理問題:
總體來說沒有一勞永逸的辦法,不要指望通過簡單的數字和公式來衡量用戶體驗研究和設計團隊的產出。管理本來就沒法這麼簡單,不然就不需要 Manager 的職位了,你想偷懶就肯定出問題。好的做法是讓最接近UE/UI團隊的的、最懂行的人來做出評價,可以融入一些用戶滿意度、縱向和橫向的可用性指標對比等等,但是不要完全依賴看似量化的指標。好多公司非常想要量化的績效指標,就是因為外行來評定內行、看熱鬧的評看門道的(沒有貶義,陳述事實)。

在績效評價上,IBM 的做法是由直接 Report 的經理來根據年初的目標(PBC)和年底執行的結果來做出評價,這些評價中有的還會在更高一級的管理層里討論,然後和員工1對1的直接溝通,給出最終評定。這個無論對於開發團隊還是UE/UI 都是一樣,我覺得這是個靠譜的辦法。具體不在這細說了。

海底撈的經驗里有一個很有意思,服務員們很有很大的授權,可以給客人贈送菜品甚至買單,有人就問了,怎麼考核?通過什麼流程、什麼指標來防止這些服務員濫用權力?海底撈的回答是,一線的管理者們本身就曾是經驗豐富的服務員,他們很容易發現問題,這比一個看似安心的指標、流程更可靠。

後者是專業問題:
對用戶滿意度的追蹤、關鍵指標(但是很多時候會和運營、產品的指標混合起來不容易分開)等等,能夠有一些量化的結果。但是這個前提是研究(例如問卷調查)需要被精心設計,避免先入為主的、誤導性的、片面的,或者忽略其他影響因素的調查,儘管大家都喜歡看起來很漂亮的統計圖表,很多調查往往一開始就走向了偏差。A/B Test 等方法也是很好的量化方法,更適合幫助做設計決策。

最常用的評估方法都是偏定性的,如總結性的可用性測試、認知走查、啟發式評估等等,能夠幫助我們利用有限的資源(如參與的用戶量可以很少)來對用戶體驗進行評估,更重要的是,找到問題所在。很多人喜歡把這些測試、評估做成看起來是定量的結果,但是一般 10 名用戶以內的測試,定量只是個美好的想法。這樣定性的研究夠么?Nielsen 做過相應的研究,這樣量級的用戶測試已經足夠發現大部分的可用性問題(我一個朋友也做過類似的研究,驗證了這個結論)。

不要特別相信看起來完美的定量評估模型等等,儘管這些是有用的,但是要了解它們的局限性。用定量指標來做評價可以簡化我們的判斷,但是往往關鍵因素可能也被簡化掉了。無論是定量還是定性研究,在研究中各個環節都有可能導致研究失效,無論它的結果看起來是多麼漂亮,一個經典的例子是《光榮與夢想》里,說到肯尼迪當選(算繼任吧)總統前,所有主流調查都顯示他的支持率非常低,但最終結果卻讓人大跌眼鏡。某次我在一個學術會議上看到有人介紹的定量模型,能夠對一些設計進行評價,一堆的數學推導,最後大家都瞢了... 其實做個用戶測試就能解決問題。

這些研究很適合幫助設計團隊改進設計,但是如果想要拿他們來評定設計團隊本身的績效,往往就難以正常運作。

---

現在我發起了一個聚焦在產品、設計(UI/UX)、運營學習的組織「互聯網學習圈」,未來希望能夠推動類似「信息時代的包豪斯」這樣的事情。

開放的社群:產品經理、設計師、運營相關專業學習和交流的微信群,加微信號 TellZoe ,會幫忙拉到相應的專業群里。

封閉的社群:內部講座、內推、和資深人士建立聯繫,http://t.xiaomiquan.com/vrn6AIm (可以複製到微信中發送給自己,再打開鏈接)

馬力的知乎文章索引:
https://zhuanlan.zhihu.com/p/25493627

—— 2017年9月更新 ——

學習 UI/UX 和產品設計

1、UI 和 UX 設計師的課程表

2、UI、UX交流QQ群:633293003,會定時舉行公開課和答疑。歡迎大家加入。


可以相對的量化的,兩言三語無法解釋完,也不特指UE或者UI,這兩個詞語不同的團隊裡面有不同的指代。一般我們用中文的用戶體驗指代,比較沒有歧義,考量的是產品的綜合體驗。量化部分,可以從縱向(同一產品在一定長度的時間線上)和橫向(同類產品在同一時間上)兩個方向去監控。可以考慮使用的指標是用戶滿意度或者用戶推薦度NPS,這些方法在傳統行業已經運用的相當的成熟,相當多的參考和借鑒。只是滿意度維度的建立各類產品不盡相同,無法統一套用。
而一般最常使用的體驗測試和專家走查方法,都是定性的,用感覺打分,不好直接作為標準,更多的是用來歸納和推廣設計理念。

如果覺得這些都太硬,不「人性」,不一定有利於大家對用戶體驗的重視和喜愛,可以再有一些軟指標,比如參與體驗計劃的項目組成員數,調研次數,調研質量,覆蓋量等等,甚至包括規範建立與執行情況等等比較有愛的指標,這些比較適合推行初期,如果這些行為已經深入每個團隊成員的工作中,就無需強調了。


首先我認為沒辦法完全量化設計師的績效,就像你沒辦法按代碼量或者加班量來衡量一個程序員的績效一樣。作為一種專業性的支持角色,衡量設計師的績效當然要看兩個方面:支持的好不好、支持的過程是否專業。那具體用什麼標準去評判呢?


1,首先看他是如何對待問題的

如果只是產品經理或運營提需求他就直接做,那我們認為這是對待問題不夠認真。我們內部有一個處理產品需求的原則,在開始一項設計之前設計師需要評估的是:

1)拋開這個問題的表面,它背後的本質是什麼?

2)我做的這個能為用戶和產品帶來什麼價值?

3)這個問題的解決方案應該以什麼指標來衡量(數據或調研反饋)?

4)做這個問題牽扯到的設計資源和工作量有哪些?

只有當經過這樣一輪Review,我們才能相信設計師能夠合理的對待他遇到的問題和思考如何去開展設計。當然除了對問題的對待方式外,我們還會看設計師主動挖掘問題的能力。比如設計師是否會經常走查產品流程,主動將用戶體驗上的問題或設計細節整理出來,在內部和外部討論並爭取資源改進等。


2,看他是如何思考解決方案的

很初級的設計師往往面對需求會憑藉自己的大概感覺去思考,最多逛逛網站或玩玩其他產品,挑出一個自己滿意的進行改進和模仿,但是我們更看重的是」系統性有深度的思考過程」。

比如我們最近去做某App的GooglePlay商店截圖改版,會把直接的競品和相同類別下比較優秀的產品都列印出來橫向對比,然後去觀察這些產品商店截圖的兩方面:他們是如何敘述產品特點的?他們用什麼樣的形似來敘述這些特點?通過觀察,我們會發現很多他們設計方式中的優點和缺點,還會找到讓我們靈感一線的創意,又或者能摸清楚這個新領域設計的規律等。一邊調研,一邊討論並記錄下來,才逐漸清晰出我們的設計方法。

再舉一個做視覺風格的例子,我們最近為歐美的年輕人做一款 App的視覺風格,先是把現在美國年輕人流行的App的市場狀況了解清楚,然後去觀察他們的設計趨勢,再之後是感受美國年輕人的流行音樂和時尚文化,甚至之前有的團隊還會出國去實地考察和訪談。後來我們開始動工做風格的時候就選擇了從他們喜歡的歌手和潮流符號的角度出發,做出了很多反饋不錯的方案。

我們並不是鼓吹要把設計過程都搞得這麼複雜,或者有的人可能認為這是過渡的設計包裝。我們認為設計師的目標不僅僅是把任務做完,而是平衡所有條件和資源去把面對的問題真正搞懂和搞定,在這個目標下去把設計做的有深度和創新。所以我們衡量設計師能力最重要的手段,就是去考察他的工作思路和工作方法。


3,看他的設計溝通和跟進

設計師不能前期包裝做的很漂亮,但是作品出來之後就不管了,所以我們也要看設計師在後期執行層面做所做的努力。他是如何去說服需求方的?他是如何去協調資源保證設計落地的?他是如何與研發溝通確保實現效果的?這一點說起來含糊,但是實際卻可以有幾個考察點:

1)設計師在溝通的時候能否就事論事,平衡情緒,保持客觀;

2)設計師在溝通和推進的過程中是否能夠有條理有依據去闡述自己的想法;

3)設計師能否換位思考,靈活的轉換自己的角色去協助團隊的其他成員;

4)還有我認為非常基礎,但現在確很少有設計師具備的。就是設計上線是否有主動總結結果,觀察數據表現或用戶反饋去找到設計的問題並開展下一輪優化;


4,最後是看設計師的學習能力

如果一個設計師只是在運用相同的方法解決類似的問題,那頂多他的工作算是在複製粘貼,最後領個苦勞錢,但是一個設計師如果能不斷的突破自我獲得提升也是一個很好地加分項。這方面通常會有兩個角度去觀察:

1)解決了比之前更棘手的問題

比如說本來只是一個做界面適配的初級設計師,卻在承擔視覺風格定義這樣的大活下獨立扛下來了。即使你以嚴格的標準衡量他的處理過程發現還不夠成熟,但是他卻突破了自身的能力超出預期,這也算是一個很好的績效點。

2)通過思考或實踐學會了新技能和方法

這裡的設計方法包含的比較廣闊,比如說一個設計師因為項目需要自學了動效設計,而且還做的不錯,又或者一個設計師因為接觸新領域(比如VR)了解到很多的相關領域的知識等,又或者跟進了一個用戶調研學到了很多用研方法等。通過這些學習他的能力廣度獲得了提升,那麼他在團隊中發揮的價值潛力也相應的提高了。


講完了衡量標準,最後講講衡量的方法

這個問題問的是"如何量化UI/UE設計師的績效",那題主一定是希望能找到一種非常簡單快速乾脆的評估方法吧,但這是不可能的!對待設計師的工作不可能通過很簡單的指標就能下定論,你不能期望年終的收到一個漂亮的PPT,或者平時看看周報就能知道設計師是否做的好。

1)所以作為管理者,最靠譜的方法就是跟這設計師"一起設計"。平時觀察他們的設計過程,多問情況,多參與甚至多幫助,然後在這個過程中去你再去思考前面的標準來判斷設計師是做的是低於預期、符合預期還是超出預期;

2)直接看設計結果,通過觀察這個產品最後變成的樣子,加上管理者自身豐富的經驗就能大概明白背後設計師付出了怎樣的努力;

3)通過合作方的反饋,你能知道這個設計師平時的設計細節和溝通方法。當然這個的難點主要是你如何獲得真實的反饋;

4)通過設計師之間的互相review和評價能夠獲得跨領域的狀況,尤其是你是視覺對方卻是交互的情況下,參考一些更資深但無利益相關人士的意見變得尤為重要;


推薦閱讀Google的2010年的一篇文章Measuring the user experience on a large scale: user-centered metrics for web applications。看完之後對如何量化UE績效應該有所啟發。

裡面總結了一個量化用戶體驗的模型HEART。每個首字母分別代表Happiness, Engagement, Adoption, Retention, and Task success。文章舉了iGoogle、Gmail和Finance的例子,說明如何應用這些指標。

另外,關於如何得到量化指標,可以依照Goals – Signals – Metrics這樣通用的思路,自上而下地推演出來,也就是先確定產品目標,再看哪些行為和態度可以反映這個目標,之後再把這些行為轉化為指標。

下載地址 http://research.google.com/pubs/archive/36299.pdf


UE,UI不好絕對的量化
但我以前通常用以下方法:
1、用運營KPI,比如UV,PV等,但占的比例較小,不超過20%,雖然這個看上去和設計者無直接關係,但這樣的目的是為了讓大家保持目標統一,給這些員工一定的壓力使他們更認真的去做。
2、需求方,產品經理對UE和UI進行打分。
3、以上兩個部分加權,形態量化考核指標,但不是僅參照這個結果,而是參照工作量多少和是否有創造性來綜合評價。

隔了4年多,編輯一下,加一點
如果是移動App,可以用以下兩個指標考核:
1?次日留存,或是短期留存來做為設計的考核,因為設計對於用戶第一印象很重要。
2?停留時長,交互合理,用戶使用的時間會相應更長,至少是一個因素。
以上都是部分因素,不是UI和UE層面完全決定的.
本來UE和UI就是產品的一部分,何必分開考核?也是我4年前寫的,讓大家保持目標統一更好一些。


你說蘋果公司怎麼來量化?喬幫主說了算的。
感覺評價模型和問卷調查都可能偏差很大,還是找有經驗的人來評判吧。
另外有同類產品可以在同類之間比較,沒有的話自身做縱向比較,


集體進行績效考核吧~這個實在無法單獨考核。


互聯網公司里

UI = GUI 是做視覺設計的
UE 是做 交互設計的
寫代碼、DIV、CSS、JS、切圖 是「前端工程師」 「front end engineer」這個崗位做的

稍微正規一點的公司,這3個職位都得有,且這3個職位 都是在 UED部門內部的。

公司若想做大,做正規、把產品做好,先把UED部門規範起來吧。一崗多職,本來就是荒謬絕倫的事情。

寫代碼的前端工程師通常都是理工科的,GUI的是藝術類的 這2種能力分別是左半腦邏輯性和右半腦的創造性。公司若要統一在同一個職位身上,是非常荒謬的,公司以為人人都是愛因斯坦?若是愛因斯坦的潛質,也不會來拿這點工資了。。。。。


工作是人完成的,那麼公司可以寫好招聘啟示,考核的問題應該心中有數,反推招聘啟示上的介紹,用戶體驗的職位更傾向於「研究員」,交互設計和視覺設計傾向於「師」,那麼研究員工作在行業內已經有考核方式,而「師」也有師的考核方式,問題簡單了。

暫時想到這些,以後再補充。


訪問量
調查
問卷
經驗豐富的人


用戶體驗的「績效」不應該被單獨拿出來衡量,設計更多是為了解決問題,有產品上的問題,也有信息架構和交互上的優化等,最終應該看這樣的設計解決了多少問題,或者一個問題的多少部分。


推薦閱讀:

對交互的理論、思考與理解如何轉換為真實的產品,有哪些需要注意,過程中有哪些鴻溝?
在交互設計領域裡,如何從新人成長為大牛?
交互設計師每天是怎麼工作的,一天怎麼度過?
交互設計師的產出物是什麼?

TAG:用戶體驗設計 | KPI | 交互設計師 | 團隊管理 |