內容安全審核技術與審核邏輯

08-10

內容安全審核技術與審核邏輯

來自專欄 95後聊科技1 人贊了文章

內容安全審核成為以短視頻、新聞資訊，直播等平台優先順序最高的運營需求，不管是通過人工審核還是以系統性的機器審核，都是以最安全與最適合產品的審核結果維度為主。隨著國家監管的力度不斷提升，暴力、血腥、政治、黃賭毒及危機青少年不良社會導內容向已成為重點關注區域。

常見的違規內容，在文字、圖片、音視頻很容易被肉眼所捕捉到，對於需要肉眼仔細審核才能會發現內容存在的問題，如文字中攜帶的形變、音變與直接赤裸顯示粗陋內容；圖片中常見的血腥、帶有諷刺性、暗示性的內容導向；音頻波形中雜亂外音包裹的其傳達核心無法識別的訊息。視頻中常見的漏點、涉黃、及音畫不同步現象。而這些違規內容對現在的人工智慧科技來講，識別審核程度較難，且識別效果不準確。若處理類似於藏頭詩、漫畫圖、帶有正向文字的負面導向內容，機器更是難上加難。當企業領導為了減輕企業成本，執意採用機器來審核，可能被監管部門抽中的「中獎」幾率性會增加很高，畢竟這場博弈，用僥倖的概率去對比約談甚至關停的企業風險還是有些大的。

內容審核流程

內容審核常分為兩個系統，一個是政治審核系統，一個其他系統審核。企業對於其他的審核條件會根據企業的運營需求調整寬鬆程度，甚至打擦邊球。但對於政治審核來講，沒有企業甘願冒此風險。內容審核系統基本上就是根據國家法律法規，外加地方網監法律法規，文化部和公安部的政策規定，進行審核的。對於內容審核，第一是相關部門是親眼看到不良相關性的內容，第二是通過API介面審核排查，不管是地方的網監，還是國家監管部門，都是有一套相關的數據排查系統。政治違規相比其他違規監測更為嚴格，目前市面上內容審核方案服務商，對政治違規內容判別檢測都做到近似100%。（這裡普及一個知識：法律法規是已經成文的，就是不能觸犯的信息。犯了就是犯罪，必須有行政處罰的。而政策規定只能算是規矩，觸犯了根據情節嚴重，還有中國慣有國情的關係，可以有伸縮的。）

內容安全圖像、文字、音視頻是如何審核的？什麼AI技術呢？這些審核的準確度如何呢？接著看：

圖片審核技術與邏輯：

對於政治人物（圖片）的審核，可直接調用服務商的介面，如雲凈網、圖譜科技、數美等，這些服務商已成型的識別技術可判斷當前圖片是否涉黃，涉政，及違規性指數，滿足企業對於圖片的審核條件。對於暴力、血腥、漫畫這類圖片，通常還是需配有人工逐條審核。在對於大並發量的上傳情況下，單人審核肯定無法滿足先審後發的規定，並可能會對用戶體驗造成產品不舒適的感覺，引發規模性的流失。而避免這一漏洞，這時，通常就需招聘多人甚至人工審核外包團隊進行內容審核管理。

對圖片識別技術方式而言，圖片的識別一般採用大數據標籤學習與相似度對比技術。對於政治人物檢測識別則使用AI系統中的人臉識別系統，人臉識別技術被廣泛採用的區域特徵分析演算法，通過深度學習技術從視頻和照片中提取人像特徵點，利用生物統計學的原理進行分析建立數學模型，即人臉特徵模板。在已建成的人臉特徵模板與被測者的人的面像進行特徵分析，根據分析的結果來給出一個相似度值，最終搜索到最佳匹配人臉特徵模板，並因此確定個人的身份信息。

廣義的人臉識別實際包括構建人臉識別系統的一系列相關技術：包括圖像採集、人臉檢測、特徵建模、比對辨識、身份確認等；而狹義的人臉識別特指通過人臉進行身份確認或者身份查找的技術或系統。

文本的審核技術與邏輯：

文本的審核要比圖片更加多樣化及專業化，從文字場景來講，文字可能是一個簽名、一個片語，一段文本甚至是一篇文章，還有些文字附帶在圖片上，如一張海報，一張頭像圖等。從內容上分，內容應該分為三種，文字，圖形與語言。在文字上來說，國內圖書有中圖法，國外有亞馬遜分類法，高斯分類等。

對於圖片中存在的文字，識別最多使用的還是OCR（文本識別技術）。對於長短文本及變形變異字體中，會使用到垃圾文本處理技術（在AI技術來講：CRF分詞，NLP，n-gram演算法，隨機森林演算法）隨機森林指的是利用多棵樹對樣本進行訓練並預測的一種分類器，通過對文本的處理進行歸類，自動預測文本內容的形式。

當你要做預測的時候，新的觀察值隨著決策樹自上而下走下來並被賦予一個預測值或標籤。一旦森林中的每棵樹都給有了預測值或標籤，所有的預測結果將被歸總到一起，所有樹的投票返回做為最終的預測結果。簡單來說，99.9%不相關的樹做出的預測結果涵蓋所有的情況，這些預測結果將會彼此抵消。少數優秀的樹的預測結果將會脫穎而出，從而得到一個好的預測結果。

在對於上下段落中，突然出現的垃圾文本或不相關的文字或片語，會採用上下語義識別技術（LSTM深度神經網路，word-embedding）。此演算法技術，會判斷此句話中是否跟上下文結合，是否是一段無效的垃圾文本，最常見場景是我們在評論區隨意敲打著一串自己都看不懂的文本。此技術很適合用於評論區的灌水，刷屏，甚至辱罵性的文字內容。—以上文本技術請教於雲凈網CTO許城（雲凈網是一家內容安全運營服務商）

對於圖片的識別，目前單靠機器識別，往往無法滿足審核需求，恕我直言，目前階段機器識別技術只能輔助人工審核，暫無法全面機器審核。AI機器審核還相當於人類三歲的智商，是處於弱智能時代，為了增強內容審核安全及無延遲的用戶體驗，建議企業還是組建人工審核團隊。

語音識別技術與能力。

語音在專業角度劃分為兩種：音頻與視頻。

語音（音頻）識別的應用場景較多，比如AI智能音響常用到的語音識別，電話通話視頻中的語音視頻，甚至是直播平台中主播在講的音頻內容。音頻等於說話，說話包含說了什麼？（涉政、涉黃、涉賭還是廣告信息）。

在音頻技術識別方面，針對不同的內容有不同識別技術。針對說話內容有語音識別、關鍵詞檢索等；針對語種的判別有語種識別的技術；針對說話人的識別有聲紋識別技術；針對說話內容無關的通常採用音頻比對的技術來進行檢測。通常一般短視頻，直播或者音頻平台，對音頻對比、聲紋的技術較為重視，是保證錄音質量及外放聲音很有效的一種運營手段，但對內容語音識別，則不太關注，畢竟語音識別技術對這些企業的應用場景不是剛需。

*圖源於網路

基於語音識別的關鍵詞檢索是將語音識別的結構構建成一個索引網路，然後把關鍵詞從索引網路中找出來。從上圖流程中可以看到，首先把語音進行識別處理，從裡面提取索引構建索引網路，進行關鍵詞檢索的時候，在通過關鍵詞表在網路中進行頻率，找到概率最高的，輸出其關鍵詞匹配結果。（在這一步可通過垃圾文本處理及上下語義分，對轉化的文本進行處理）

目前音頻的識別技術能力還遠遠達不到準確階段，比如音頻出現的「嬌喘聲」單靠技術根本無法識別，或識別（轉化）出來就是一串亂字。再如在人潮擁擠的雜音中，出現的音頻，也無法準確的轉化成文字識別。遇到這種隱晦場景下的文本，通常還是需要人工去審核。

視頻識別技術與處理模式：

在視頻上，根據內容不同，如直播、短視頻、個人上傳的視頻，視頻是畫面與音頻組成的以幀為單位的畫面。對於音頻常存在暴恐、淫穢傳播、甚至是音畫不同步等問題。在視頻處理上面，通常採用截幀上傳伺服器數據對比來識別。其審核模式與圖片審核相同，會判斷場景（外室外還是室內）、會判斷人臉（畫面中出現的人是否是明星或者政治）、會判斷是否色情（根據畫面圖片的裸露狀態，可為正常、性感、色情等不同唯獨）。

如抖音、映客、等以視頻流為主的APP，對視頻內容的審核往往通過機器的方式進大量的審核篩檢，畫面中存在的嚴重血腥、暴恐、色情、政治新聞等危害畫面內容會優先被幹掉，而那些不以直接性的畫面展示的內容機器難以審查出來。

講了這麼多，內容違規存在的音、視、圖、文，以技術的識別方式都是通用的，只不過在審核時設定的策略及寬進程度不同，如圖片的識別，可設定存有性感，但不能色情，也可設置存有隻能人臉，但不能物體，攔截的寬緊程度需要人工來設定，對於大量的內容並發，則是需要大量人工通過機器輔助人工進行審核，而非機器單獨進行全方位過濾。

內容審核技術與邏輯不單單是套系統，而非一套非常的準確且嚴謹的工作，內容審核既要及時攔截違規內容信息，又不能對用戶造成產品上的體驗落差。內容審核，任重而道遠。

---------------------------

95後聊科技，專註互聯網的八卦，營銷、新聞、融資訊息，我們不僅僅是傳播者更是創造者，做深度的內容耕耘者。