網易雲易盾CTO朱浩齊：我們是如何用AI賦能內容安全？

5月19日，LiveVideoStack攜手網易雲易盾，共同打造了「娛樂多媒體開發應用實踐」專題，幫助開發者和泛娛樂平台運營人員，提升技術能力，突破難點，拓展思路與視野。

在專題論壇中，網易雲易盾CTO朱浩齊分享了《AI賦能的內容安全技術實踐》主題內容，從策略、技術、產品三個方面，詳細介紹了網易在內容安全系統構建方面的實踐經驗，包括如何建立對有害信息精細明確的審核體系和應急響應機制，如何採用基於自然語言、深度學習技術的智能識別技術，保證對文字、圖片、語音，特別是直播視頻內容的全面精準覆蓋等等。

內容安全行業現狀：有害信息的持續性遞增

2017年全球網民34億，互聯網普及率46%；全球智能手機保有量28億；2016年互聯網佔據了中國用戶55%的媒體時間；移動互聯網使用時長超過電視......這些數字都在表明，網路直播的變現能力已遠遠超過遊戲、電視等其他媒體。

朱浩齊表示，互聯網進一步滲透人們生活各個角落的同時，也還帶來有害信息的持續性遞增——各種違法和不良信息的舉報量居高不下，甚至引起了國家戰略層面的關注。

沒有網路安全，就沒有國家安全，更不能讓互聯網成為傳播有害信息、造謠生事的平台。因此，近年來，各種處罰案例也是不勝枚舉。

這位網易雲易盾CTO列舉到：2017年4月18日，北京市網信辦、公安局文化場行政執法總隊聯合約談今日頭條、火山直播、花椒直播；2017年4月底，國家新聞出版廣電總局責令騰訊整改微信公眾號、移動客戶端播放視聽節目；2017年6月22日，廣電總局責令關停新浪微博、AcFun、鳳凰網等站的視頻服務；2017年7月，bilibili大量劇集被下架；2018 年4月6日；為了配合廣電總局的整改，快手擴容自己內審核團隊；2018 年4月8日，廣電總局責令今日頭條永久關停「內涵段子」等低俗視聽產品......可以說，行業進入了強監管時代。

「對於企業來說，內容安全更是成為了刻不容緩的生死命題。」朱浩齊舉例稱，今年4月，文化部和旅遊部公開文件顯示已排查4939 款直播應用，下架370款。「所以，多款直播應用平台都選擇了加大審核力度和人工投入。」例如，快手發布招聘顯示將審核人員規模擴充到5000人，月薪4000-9000元；今日頭條也表示近期將擴充到6000人審核團隊，預期到達10000人......

朱浩齊認為，互聯網直播平台的內容安全給企業帶來的挑戰遠不僅如此，在成本、效果、技術上，各種挑戰維度都在不斷升級，更是給企業帶來了極大的困難。

網易雲易盾如何在技術層面提供安全防護？

分享完嚴峻的形勢後，朱浩齊和大家談了下擁有20年技術沉澱的網易雲易盾是如何做內容安全的。

他說，易盾在內容安全上，一共經歷了三個階段：

• 階段一：關鍵詞、黑白名單、過濾器；
• 階段二：內容特徵識別（膚色，紋理）、貝葉斯過濾、相似度匹配、規則系統；
• 階段三：大數據分析（用戶行為，用戶分類）、人機識別、人工智慧（語義識別，圖像識別、自然語言處理等）。

現階段文本、圖像、語音、視頻四塊都有哪些核心技術？朱浩齊表示，主要有以下這些：

• 文本：智能關鍵詞、模糊匹配、語義分析、小語種檢測；
• 圖片：圖像識別、特徵識別、圖片檢索、OCR 識別；
• 語音：MD5庫檢測、語音特徵檢索、語音特徵識別、語音識別；
• 視頻：視頻轉碼壓縮、視頻流分析、截圖/截幀分析。

這位深耕於技術一線的CTO表示，得益於神經網路學科的快速發展，近年來的機器學習技術也在不斷進步，為內容安全提供了最堅實的技術保障，包括分層的生物神經網路、圖像識別技術、深度神經網路、神經元激活熱力圖等等，在安全技術效果上給予了更多的強化。

Hubel& Wiesel（圖片來源：Harvard Brain）

他說，這些技術也在網易易盾中得到了充分應用，包括圖片識別、音頻過濾以及視頻過濾技術。

• 圖片識別技術：支持人像識別，支持色情圖片檢測，支持動漫識別；支持相似匹配，支持圖片旋轉、裁剪，支持改變圖片亮度、色調；支持水印識別。
• 音頻過濾技術：基於強大的語音識別分析引擎，通過網易積累多年的垃圾庫實時過濾有害語音，同將轉成文字進一步過濾。技術要點在於，將語音轉換文本和文本檢測相結合。
• 視頻過濾技術（直播、點播）：視頻流檢測，視頻截圖/截幀檢測，直播間熱度監測，主播黑名單，機器+人工。技術要點在於，將視頻轉換圖片和圖片識別技緊密結合。

對於網易來說，內部數據的多樣性也給易盾提供了豐富的實踐場景。「在網易郵箱、網易新聞、雲音樂、LOFTER、雲相冊、薄荷直播等內部應用構建的數十萬變種的數據中，易盾能夠實現實時加密過濾垃圾信息、安全防刷等功能，良好地維護了產品運營氛圍和用戶體驗。」

真實的技術環境更為複雜，網易易盾如何更進一步？

事實上，從技術、人力、成本等各維度來看，真實環境中的內容安全防護更為複雜。舉例來說，假設10k張圖像中有1張是違禁圖片，易盾的系統準確率為99.9% ，即1k張圖像會判錯一張，那麼其計算偽陽性率（False Positive Rate，即判斷為違禁圖像集合中正常樣本的比例）為：

即11 張判定為違禁的結果裡面竟有10張是誤判的——數據的難解釋性、黑客的持續性攻擊都給內容安全防護提出了更高的要求。

• 難解釋性：如下圖所示，一張原本能被正確識別的大熊貓圖像，在添加人眼幾乎不可辨認的微小變化之後，竟然以99 .3%的置信度被判別為長臂猿。

• 黑客攻擊：通過對輸入數據的維度特性進行改變，可以針對深度學習數據處理環節進行攻擊，對深度學習圖像識別等應用造成逃逸攻擊以及數據污染攻擊等效果。比如說，下圖某位明星，經過數據的維度特性處理後，它能被機器識別為「某本山」。

更遑論，內容安全的「攻擊者們」早已形成了成熟的產業鏈。他們這類徘徊在法律邊緣的群體，利益明確且分工協作，攻擊手段更是持續升級。所以，對於所有的內容安全廠商來說，這都是一場高成本、長拉鋸的攻堅戰。

朱浩齊說：「基於此，易盾對比行業傳統的內容識別單維度服務，還提供了賬號、IP、行為動作（關注，投票，評論）、內容識別、用戶畫像、群體畫像、環境數據、設備指紋的多維度技術服務。此外，更是深入解析攻擊漏洞，從註冊保護、登錄保護、環境監測、行為分析、用戶分析、離線計算的全服務流程進行深度的安全防護。」

目前，基於網易所構建的強大用戶關係網路，易盾提供了場景化的解決方案。從廣告過濾、智能鑒黃、暴恐識別、謠言排查四大方面，實現了彈幕實時過濾、聊天區文本/圖片過濾、頭像/昵稱過濾、直播間電視牆監控、直播間音頻過濾、主播黑名單、用戶黑名單、房間熱度分析等全方位的安全防護功能。此外，「機器+人工」的操作模式，更是從細微之處著手，提供了升級化的技術功能，智能機器監控、優先推送、智能排序、嫌疑高亮、支持警告、斷流操作、自動補位、視頻大小自適應等等不一而足。

重重的技術防禦下，安全效果自然不言而喻。朱浩齊分享到，目前易盾每天為網易數億的用戶和內容數據提供安全保障，也給網易所有得產品提供了全面的信息安全服務。「在今年三月份主要商業網站違法不良信息的舉報統計中，易盾全面的信息安全服務為網易的產品帶來了效果顯著的保護。」他說。

如何快速使用易盾？

網易易盾，是極速智能的內容安全雲服務，專註內容安全解決方案。目前，網易易盾已在泛娛樂、多媒體、運營商、電商、金融證券等各行各業實現滲透應用，多領域客戶覆蓋下，是秉持初心、堅韌不破的安全技術保障。

現在，通過API 接入，訪問 http://dun.163.com，一天即可配置完成。

內容安全數據可視化、智能的直播電視牆、身經百戰的審核團隊，豐富的功能應用，現在即可獲取。