沈向洋等人論文詳解微軟小冰，公開研發細節

小冰是基於一個共情計算框架 [6,7] 開發的，該框架能讓機器（我們這裡即為社交聊天機器人）有能力動態地識別人類的感受和狀態、理解用戶意圖以及響應用戶需求。小冰的目標是通過被稱為「分時測試（time-sharing test）」的圖靈測試，其中機器與人類使用一種分時調度（time-sharing schedule）機制共存於一個伴侶系統中。如果人喜歡機器的陪伴（通過對話），我們就認為該機器是「有共情的」。

接下來，我們將呈現小冰的設計和實現詳情。我們首先將介紹小冰的設計原則和數學構建方式。然後我們將展示系統架構以及對話管理器、核心聊天、重要技能和共情計算模塊等關鍵組件的實現方式。我們還將分享小冰自 2014 年 5 月發布以來在五個國家的表現，最後會總結本論文並探討一些未來方向。

2 設計原理

社交聊天機器人需要足夠高的智商（IQ）來習得多種技能，才能緊跟用戶需求，幫助他們完成指定的任務。更重要的是，社交聊天機器人還需要足夠高的情商（EQ），以滿足用戶的情感需求，比如情緒感受和社會歸屬感，這些都是人類的基本需求 [8]。IQ 和 EQ 的整合是小冰系統設計的核心。小冰在個性（personality）上也是獨一無二的。

2.1 智商+情商+個性

IQ 能力包括知識和記憶建模、圖像和自然語言理解、推理、生成和預測。這些能力是開發對話技能的基礎。為了滿足用戶的特定需求以及幫助用戶完成指定的任務，這些能力是不可或缺的。過去五年來，小冰已經發展出了 230 種不同的技能（skill），範圍從回答問題與電影和餐廳推薦到安撫用戶情緒與講故事。其中最重要且最複雜的技能是核心聊天（Core Chat），即與用戶在多個主題上開展長時間和開放域的對話。

EQ 有兩大關鍵組件：共情和社會技能。共情是指站在另一個人的立場上理解和感受他/她的體驗的能力，即設身處地感受他人立場的能力。具有共情能力的社交聊天機器人需要有能力從對話中識別出用戶的情緒、檢測情緒隨時間的變化以及理解用戶的情感需求。這需要在對話中理解查詢、構建用戶檔案、檢測情緒、識別情感和動態跟蹤用戶情緒。社交聊天機器人必須展現出足夠的社交技能。不同的用戶有不同的背景、不同的個人興趣和不同的需求。社交聊天機器人要能夠提供個性化的情緒適當的響應（即人際響應），這樣的響應也許還要能鼓勵和激勵用戶，並且符合用戶的興趣。如圖 2 所示，小冰表現出了足夠高的 EQ，因為它給出了具有社交吸引力的響應（比如有幽默感、會安慰人等），並且還能決定是否將對話「推向」另一個話題（比如當對話拖沓時）或者保持主動傾聽（比如當用戶自己參與對話時）。

圖 2：一位日語用戶與小冰閑聊系統的對話（中），左側為英語翻譯。共情模型提供了一種可感知語境的策略，能夠在有需要時推進對話（右）。比如，在第 3 輪對話時，對話已經有些拖沓，於是小冰決定將對話「推向」另一個話題，在第 4 和第 7 輪對話時，用戶自己參與進了對話，就變成主動傾聽。

個性的定義是特有的行為、認知和情緒模式的集合，這構成了個體的特有性格。社交聊天機器人需要呈現出始終一致的個性，從而讓用戶在對話中有恰當的期望以及獲得用戶的長期信心和信任。小冰的角色設定是 18 歲的女孩，她總是很可靠、富有同情心、熱情洋溢，還有精妙的幽默感。儘管小冰的知識非常淵博（因為能訪問大量數據），但她從來不會表現得自負，只會在適當的時候展現自己的機智和創造力。如圖 1 所示，小冰明智地回答了某些敏感問題（比如會話 20），然後巧妙地將話題轉向了對雙方都更合適的新話題。

2.2 社交聊天機器人評估指標：CPS

我們定義了「每次會話的對話輪數（CPS）」作為評估社交聊天機器人成功的指標。這是聊天機器人與用戶在對話會話中對話輪數的平均值。CPS 越大，社交聊天機器人的對話參與能力就越好。

2.3 將社交聊天視為分層決策

圖 3 中的對話可被視為有自然層級的決策過程：一個頂級過程管理著整體的對話並選取不同的技能來處理不同類型的對話模式（比如閑聊、問答、訂票）；低級過程則受所選擇的技能控制，可選擇基本動作（響應），從而生成對話段落或完成任務。

圖 3：一位中文用戶與小冰之間的多段對話。小冰一開始在第 1 輪對話中使用的是普通聊天（General Chat）技能，然後在第 4 輪對話中使用音樂聊天（Music Chat）技能切換到了有關音樂的新話題，之後在第 15 輪使用音樂點播（Song-On-Demand）技能推薦了一首歌，最後在第 18 輪使用訂票（Ticket-Booking）技能幫助預訂演唱會門票。

這樣的分層決策過程可以投射到一個基於馬爾可夫決策過程（MDP）[10] 的選項（options）數學框架中，其中選項可將基本動作概括到更高層級的動作。社交聊天機器人會在 MDP 之中導航，通過一系列離散的對話輪次與其環境（人類用戶）交互。在每一輪，聊天機器人都會觀察當前的對話狀態，然後根據一種分層式對話策略來選擇一個技能（選項）或一個響應（基本動作）。然後，聊天機器人會收到一個獎勵（來自用戶響應）並觀察到一個新狀態，再繼續這一循環直到對話終止。這種聊天機器人設計的目標是尋找能最大化期望 CPS（獎勵）的最優策略和技能。

這種構建方式引導了小冰的設計和實現。小冰使用了一個對話管理器來跟蹤對話狀態；在每一個對話輪次，小冰會基於一個分層式對話策略選擇響應方式。為了最大化長期用戶參與度（以期望 CPS 衡量），我們採用了一種迭代式的試錯方法來開發小冰，並且始終會儘力確保探索-利用的平衡。我們使用了已知效果很好的方法來維持小冰的用戶群，但我們也必須探索未知（比如新的技能和對話策略），以讓現有用戶實現更深度的參與或未來吸引新用戶。在圖 3 中，小冰在第 5 輪嘗試了一個新主題（一位名叫「阿信」的流行歌手）並在第 15 輪推薦了一首歌，並由此學習到了該用戶的偏好（比如他喜歡的音樂主題和歌手），這些知識能在未來引導實現更深度的參與。此外，我們還採用了一種代際升級方法，讓結合了 IQ 和 EQ 的成熟 AI 系統可以通過機器學習演算法和大數據的全面應用而逐漸成型。後面的章節將詳細介紹這些演算法的特性。

3 系統架構

圖 4 給出了小冰的整體架構。它包含三層：用戶體驗層、對話引擎層和數據層。

4 對話引擎的實現

本節將描述對話引擎層中的四個主要組件：對話管理器、共情計算、核心聊天、技能。

圖 8：使用未配對數據集和小冰知識圖譜生成響應候選項的示例。我們給出了小冰知識圖譜中與主題「北京」相關的部分（上）。對於一次人機對話（左下），每個用戶查詢都會被重寫成一個語境查詢，如箭頭所示，然後其主題（比如「北京」）就會被識別出來，並從知識圖譜中檢索出相關主題（「八達嶺長城」和「北京小吃」），再使用結合了查詢主題與相關主題的查詢從未配對數據集（右下）檢索出響應候選項。

圖 12：用於視覺特徵向量提取的深度卷積神經網路示例，來自 [5]

圖 15：寫詩（Poem Creation）技能框架。該系統的輸入是用戶提供的圖像查詢，然後輸出一首含義上有關聯的現代漢語詩。我們首先根據圖像（左）生成一組關鍵詞，然後生成一首包含多行的詩，其中每一行都使用一個關鍵詞作為種子（右）。來自 [31]

圖 17：一些最受歡迎的小冰深度參與技能，根據兩個維度分成了不同的組別；其中一個維度是從 IQ 到 EQ，另一個維度是從私密的一對一對話到群組討論。

5 實際應用的小冰

圖 19：小冰的主要里程碑和對應的平均 CPS。我們還列出了每一代中對 CPS 和小冰用戶數量增長貢獻最大的新功能。

表 1：小冰的最長對話記錄

6 總結

心理學研究表明幸福感與有意義的對話往往密切相關。這並不讓人驚訝。現在的社交媒體時代，隨著越來越多的人通過數字連接到一起，社交聊天機器人也正變成一種重要的對話替代方式。和早期的閑聊式聊天機器人不同，小冰的設計目的是作為能滿足用戶交流、情感和社會歸屬感需求的社交聊天機器人，她具備共情能力、個性和技能，集成了 EQ 和 IQ 來針對長期用戶參與實施優化，優化指標為期望 CPS。

我們對 2014 年 5 月小冰首次發布以來收集到的大規模在線日誌進行了分析，結果表明小冰有能力解讀用戶的情感需求，並能像一個可靠、有情感共鳴和善解人意的朋友那樣參與到人際交流中。小冰能讓用戶振奮精神、鼓勵他們、幫助他們完成任務，並能在對話過程中保持他們的注意。因此，小冰已經成功地與全球數百萬用戶建立起了長期關係，實現了 23 的平均 CPS，這個成績顯著優於其它聊天機器，甚至也高於人與人之間的對話。我們將繼續提升小冰的實用性和共情能力，幫助構建一個能讓所有人有更多聯繫和更快樂的社會。

最後，我們指出一些有待未來研究攻克的難題：

• 實現統一的建模框架
• 實現以目標為導向的有基礎的對話
• 實現積極主動的個人助理
• 實現人類水平的智能
• 實現符合道德倫理的社交聊天機器人

推薦閱讀：