你問我答之「YiBot後期維護方法全揭秘」

1 客服機器人運營分為哪些階段？

客服機器人運營大致可分為三個階段。第一個階段是上線前，上線前主要可以分析客服日誌，YiBot可幫助業務構建自身的知識庫，對知識庫進行初期標註教育，使業務剛上線時的準確率能達到80%以上。第二階段是前期運營，在剛上線後一至兩個月（因上線後知識庫的變化情況而不同），根據機器人線上表現，有針對性地進行缺失知識點補充、欠教育知識點補充標註，優化效果，此階段一般 準確率可達到90%~95%。第三階段是後期運營，在機器人穩定運營後，針對可能發生業務規則變化，及時進行必要的知識庫更新和機器人教育，使得機器人效果持續保持在最佳狀態。

在前期維護的時候，標註基本已覆蓋了大部分的用戶問題，知識庫結構也已趨於完善。因此在機器人後期維護時的側重點就是根據線上實際反饋及時發現前期維護未暴露的問題，有針對性的做出精細化調整。

主要有三個渠道。第一個渠道是系統自動體檢。系統主動地從客服日誌中篩選出機器人「不太確定」（置信度低）是否已正確回答的問題，將他們提取出來供人工進一步確認。第二個渠道是利用用戶反饋信息發現問題。比如用戶對於機器人客服回答的點贊、點踩，或是認為當前回答不能解決他的問題時所採取的「轉人工」操作，都是用戶針對機器人回答的準確性給出的反饋信號，從這些反饋信號中我們可以自動挖掘出因機器人回答不精準導致用戶滿意度低的問題。第三個渠道是人工對機器人客服日誌的質檢。通過隨機、無偏的採樣質檢，可以充分排查機器人客服的實際效果，並把機器人回答錯誤的問題暴露出來。從這三個渠道獲取到存在的問題後，YiBot最終會運用聚類等手段進行綜合分析，按對效果的影響大小確定優先順序逐個解決。

「回答不好」的問題主要分為四種。第一類是給出直接回答，但回答錯誤的問題。第二類是答案缺失的問題，用戶在問到此類問題時機器人會提示找不到答案。第三類是機器人只能確定用戶問的是某幾個問題中的一個，但是不能確定具體是哪一個，只能將這幾個問題作為推薦回答共用戶進一步點選。第四類是給出推薦回答，但推薦回答都未包含用戶想問的問題。

每次回答問題，機器人都會從自身角度給出最優答案。用戶每問一個問題，系統內部會基於與用戶問題的相關性對FAQ進行打分排序，每個FAQ對於這個問句都可得到一個分值，分值越高越好。若機器人得出的答案分值相對接近且分值很低，模型會認為這是個「回答不好」的問題。

YiBot主要通過兩種途徑來解決後期運營中的問題，第一種途徑是知識庫優化（之前的推文有詳細介紹過，請見你問我答之「YiBot知識體系運營知多少」）。第二種途徑是有針對性的教育，YiBot通過三種工具的靈活、交叉使用來保證機器人後期運營中的問題解決。這三種工具分別是常規教育、快速教育、人工干預。

7 什麼是常規教育？

常規教育就是進行標註，從客服日誌中篩選用戶問句，把每一個問句標註到正確的FAQ上面去。在客服機器人接入前及前期運營的時候，我們會把客服日誌中的問句去噪後隨機提取出來進行標註，因此常規教育中推送的帶標註的用戶問句是與線上用戶實際提問的分布一致，諮詢量越大的問題得到的訓練量越大，機器人的回答也就越準確。

但在後期維護中，隨著整體標註量的增加，大部分的知識點都已經得到了較大的標註量，這個時候進行隨機選擇問句進行標註收益已經不明顯，需要有針對性的對回答不好的問題或者新建的知識點進行標註，才能更有效的提高機器人效果。

快速教育是指僅篩選知識庫中的短板FAQ進行教育的教育方式。短板FAQ主要有三種，第一種是近期新建的FAQ，第二種是觸達率高但相似問句較少的FAQ，第三種是機器人經常會回答錯誤的FAQ。在進行一定常規教育後，最常用的FAQ的標註量已經很大了，準確率已經較高。這時候需要更多地有針對性地優化知識庫中的短板問題，以便事半功倍地提高機器人效果。

人工干預主要是對經常回答錯誤的Bad Case（回答得不好的問題）進行診斷，追蹤出現這種Bad Case的內在原因，並根據診斷的結果分別對回答錯誤的Badcase進行再教育：對實際應該關聯的FAQ添加相似問句，並導致目前錯誤關聯到其它FAQ中的相似問句進行轉移。

10 為什麼會產生Bad Case？

第一種原因是標註數據錯誤，標註人員將本應標註到另一FAQ的問句標註到這個FAQ，對機器人造成了誤導，再問到這個問題相關問句時機器人可能給出錯誤答案。第二種原因是正確FAQ的標註數據太少，機器人對FAQ的表達方式的學習不夠充分。

當我們發現Bad Case以後，在YiBot的人工干預工具里把該問句輸入進去，機器人可給出它認為最正確的三個回答（但其實是錯誤答案），以及影響機器人作出這些回答的主要因素，再人工選擇正確的回答進行糾正。

若錯誤回答是由於標註數據錯誤引起的，就將錯誤的標註數據刪除或轉移到正確的FAQ中去。若正確FAQ標註數據太少，就應該為其補充相似問句。

推薦閱讀：