極限元：淺談手勢識別在直播中的運用

手勢識別由簡單到複雜分為：靜態手型識別、動態手勢識別、三維手勢識別。

網民們對於大眼錐臉的美女主播早已審美疲勞，現在的直播行業是內容為王，從早期的UGC（User Generated Content：用戶原創內容），發展到PGC（Professional Generated Content：專家生產內容），現在則是PUGC（Professional User Generated Content：專業用戶生產內容） 。

只有內容的創新才能吸引觀眾，其核心是——互動。

簡單的才藝表演內容已不能博人眼球。直播平台上有很多土豪一擲千金只為博美人一笑，「土豪」—出手，主播都抖三抖，而土豪們最在意的是「存在感」。

「土豪」一般情況下不滿足打賞後平台系統出現的動畫特效，他們需要主播的及時反饋。比心、抱拳、愛心、剪刀手等都是主播們經常使用的互動小動作，可以增加主播的互動性及直播間的氣氛，但有部分觀眾對於動作不了解，且多數動作時間太短，無法反饋到受眾或目標觀眾，使得互動小動作效果不夠豐滿。如下圖四種主播常用雙手勢「心形」表現形式。（還有單手勢表現形式，同時又分「靜態」和「動態」）

「手勢識別」不僅應用於和觀眾互動，還有其他多種應用。根據不同的手勢，出現不同的特效，主播可以利用手勢表達意願，如想讓觀眾打賞，可以做一個特定手勢提示，屏幕出現賣萌的動畫特效或是萌萌噠的聲音，這樣，觀眾既不覺得主播勢力，主播也獲得打賞。利用手勢宣傳平台也是一個很好的應用，主播做一個特定手勢，屏幕就出現了平台logo，有助於加深觀眾對平台的印象，積累觀眾。

有了「手勢識別」的技術，直播平台就能把眾多的線下綜藝節目搬到線上來，例如主播與主播之間的划拳遊戲，看手勢猜數字等多種應用，這樣使直播內容更加的豐富精彩。

一、靜態手型識別與動態手勢識別

靜態手型識別，又稱靜態二維手勢識別，是手勢識別中最簡單初級的一類。這種技術在獲取二維信息輸入之後，可以識別多種靜態的手勢，比如拜拳、比心等。 「靜態」是這種二維手勢識別技術的重要特徵，且只能識別手勢的「狀態」，而不能感知手勢的連貫或持續變化，是一種模式匹配技術，通過計算機視覺演算法分析圖像，和預設的圖像模式進行比對，從而理解手勢的含義。

動態手勢識別，又叫二維手勢識別。不僅能識別手型，還能識別簡單的二維手勢動作，如揮手、手掌移動等。二維手勢識別擁有了動態的特徵，可以追蹤手勢的運動，進而識別將手勢和手部運動結合在一起的複雜動作，無疑，增強了互動體驗效果。

（極限元手勢識別跟蹤特效動圖）

二、直播場景中的目標檢測演算法——手勢識別演算法

手勢識別與跟蹤的主要的目的是將手勢從較為複雜的環境中快速提取出來，以達到對特定手勢準確識別並實時跟蹤的效果。以往由於檢測器速度慢，在設計中不得不引入跟蹤演算法來實現提速（例如 camshift 跟蹤演算法 或是kalman 濾波演算法），經過綜合考慮，極限元的做法是提高檢測器的檢測速度，從本質上解決了跟蹤速度慢問題，該演算法在環境複雜對於隨意移動的主播的跟蹤也具有良好的效果，同時可以跟蹤多個人或物，滿足手勢識別的需求。

極限母音視頻互動系統中的手勢識別，可識別特定手勢、靜態手勢並且跟蹤手勢進行識別，給予特效展示，結合直播平台數據可實現特效與觀眾匹配的效果。根據主播的需求，還設置了打賞特定手勢，系統會自動識別成文字、特效動畫、語音，增加趣味性和收入。