阿里雲AI如何助攻世界盃？視頻集錦背後的技術實踐

08-20

來自專欄我是程序員7 人贊了文章

本屆世界盃互聯網直播的順利進行，離不開各大雲計算廠商的支持。在這其中，阿里雲是當之無愧的「C位「，除了優酷外，阿里雲還支撐了CNTV、CCTV5客戶端，為全網70%的世界盃直播流量保駕護航。

對於世界盃這種超大觀看量級、超強影響力的重要體育賽事，阿里雲一直致力研究的AI技術一定不會缺席。

如何用AI替代傳統的內容加工模式，高效地產出比賽集錦並將精彩內容快速呈現給觀眾呢？世界盃期間，阿里雲聯合阿里巴巴機器智能技術實驗室，利用「視頻AI+雲剪輯+媒資管理」的技術，實時產生精彩集錦和球星集錦，滿足球迷們的重溫賽事和追星的需求，本文將揭曉技術實現過程。

從整場賽事維度產生精彩集錦

首先，要做的事情是讓機器比人更懂視頻。通過對過去多屆世界盃的多場賽事，以及上萬篇足球或世界盃相關文稿的學習，阿里雲視頻AI對球場、球員、比賽機制、特定行為等都有了全面的理解，所以它具備像觀眾一樣去客觀地認知和感受每一場世界盃球賽的能力。

其次，大量的標註工作也是必不可少的，包括對幀圖景深、位置、事件、紅黃牌、不同角色行為、禁區危險畫面及球星人臉的標註，也包含對音頻中關鍵詞、音頻事件等的標註。

最後，便是準確地提取「精彩」的內容。在這個環節，演算法和工程上進行了多處創新。包括：

將視頻進行多模態分析，從視頻畫面、音頻、文字等多個維度提取關鍵信息，再通過融合或者相互校驗，大幅度提高鎖定精彩內容的準確性。
將音頻的信息分析和視頻行為分析結果取權重融合判斷，將視頻時域、空域網路權重與音頻事件、ASR網路自適應累加，從而對射門、進球、犯規、精妙傳球等精彩鏡頭準確捕獲；同時，結合實時事件信息分析結果進行合理回溯或預測，完成事件提取，比如受傷、換人、過人等事件相關的回放、特寫、裁判行為抓取等。
利用多維數據進行相互校驗，結合事件回溯和預測技術，進行進一步的信息平滑處理，在直播過程中逐漸累積精彩集錦或球星集錦。

從球星的維度產生球星集錦

賽事精彩集錦是以比賽本身為核心，對精彩信息進行定義、提取、匯聚與展示；而球星集錦是以特定球員為核心，獲取直播賽事中與球星相關的關鍵畫面或關鍵事件。這一技術不僅能為視頻生產方實時提供素材，也能快速呈現球星愛豆的精華鏡頭，讓球迷們過足眼癮。

簡單來說，球星集錦的實現通過對世界盃場景進行深入理解和分析，從比賽視頻、解說詞音頻、球星庫及人物場記等各個維度進行識別與分析，並利用多模態融合技術，從而實現複雜場景下的集錦效果。

在視頻AI處理中，通過識別視頻中已註冊的球星並進行人物追蹤，同時做了一定程度的容錯處理和補償優化，並針對不同位置的球星微調追蹤模型，最終對球星在視頻中出現的時間線、幅面坐標及置信度進行綜合的動態分析。

在解說詞AI處理中，則使用了世界盃場景的語音識別模型，該模型對球員名稱、足球術語、解說員的語速/語氣/語調等進行了額外的訓練和優化，尤其是在聲學模型上針對足球場景下的球場及觀眾雜訊進行了適應性訓練，使得其最終對世界盃解說詞的識別準確率提升了超過10個百分點。

雲剪輯是生成球星集錦的最後一步，它能夠接收視頻AI輸出的最終時間線，對原始素材進行剪切合併。雲剪輯可根據需要來開啟並行剪輯模式，這種模式下，原始素材片段越多，剪輯倍速越高。另外，雲剪輯還可接收高級剪輯參數，如在不同剪輯片段之間增加轉場，在球星首次特寫幀增加貼紙，增加背景音樂、片頭片尾等，豐富集錦的娛樂效果。

如何瞬時產出視頻集錦

對於直播體育賽事，集錦視頻產出的高效性非常重要。這也是視頻AI真正可以替代人力發揮其價值的依據之一。而這對於視頻雲的流傳輸、音視頻編解碼、直轉點以及雲剪輯等技術能力都是極大的挑戰。

在保證實時性上，阿里視頻雲利用直轉點技術，先碎片化進行實時多模態分析，再結合事件回溯與預估，對精彩集錦進行累積和快速調整，最終合理聚合產出優質集錦。

依靠強大的流媒體處理能力，可以保證每場比賽的精彩集錦以及所有球星集錦，在3-5分鐘內生成，再由平台快速發布出去。技術經歷過無數次大「舞台」的洗鍊，本次世界盃中，再一次完美地解決了這一問題。

可預見的未來

激情賽事已經過半，阿里雲視頻AI技術在本次世界盃中也成功落地，而這並不是結局，這是將視頻AI應用於體育行業以及更多其他行業的開端。經歷了對世界盃如此大型賽事的穩定保障，阿里視頻雲將更成熟、穩定地去應對賽事場景下的視頻分析與處理。AI技術也將滲透到各個行業中，幫助用戶有效提高視頻的生產效率，讓內容更快、更准、更優。

除了視頻AI之外，阿里雲在本次世界盃中用到的窄帶高清、50幀極清、CDN智能調度等技術，也為2018年的世界盃的廣大體育迷提供了更好的觀看體驗。阿里雲目前已經是國內視頻服務體量最大的雲計算公司，客戶涵蓋社交、教育、電商、遊戲等，未來也將不斷致力釋放技術紅利，幫助越來越多的客戶實現業務飛速增長，站領行業「C位」。

本文作者：樰籬

原文鏈接

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎

本文為雲棲社區原創內容，未經允許不得轉載。