CDN高級技術專家周哲:深度剖析短視頻分發過程中的用戶體驗優化技術點

深圳雲棲大會已經圓滿落幕,在3月29日飛天技術匯-彈性計算、網路和CDN專場中,阿里雲CDN高級技術專家周哲為我們帶來了《海量短視頻極速分發》的主題分享,帶領我們從視頻內容採集、上傳、存儲和分發的角度介紹整體方案,並且重點講解短視頻加速的注意事項和用戶體驗優化要點。

講解從三個部分展開:短視頻應用場景、阿里雲短視頻解決方案、阿里雲對短視頻用戶體驗的相關優化。

短視頻應用場景

短視頻比圖片和文字包含更多的信息,在移動互聯網普及的今天,短視頻應用場景非常廣泛。

一、 社群分享場景

用戶可以錄製視頻,進行特效編輯處理,上傳到伺服器,通過社區的方式分享給好友。

二、 電商場景

商家可以快速拍攝、製作商品的短片,把商品的介紹視頻發給消費者,這樣可以提高購買轉化率。

三、 IM聊天場景

在交流過程中,通過隨拍隨傳的短視頻,用戶可以更生動的表達觀點,更真實的傳遞情感

四、 新媒體場景

區別於傳統、單一的圖文展示形態,短視頻可以快速收集及發布新聞,一鍵呈現世界

五、 體育賽事場景

集成短視頻SDK後,用戶可以在現場實時拍攝和剪輯,生成具有傳播價值的短視頻,通過分享來全網同步賽事

阿里雲針對短視頻的業務場景,提供了一整套技術解決方案。在主播端,提供了視頻上傳SDK和短視頻SDK,在觀眾端提供視頻播放SDK,在伺服器端提供點播服務、OSS存儲和CDN加速。

對於開發者來說,短視頻解決方案的使用流程是這樣的:首先主播端使用短視頻SDK對用戶的視頻進行錄製、特效處理和剪輯,然後將視頻通過上傳SDK上傳到伺服器端,在伺服器端先通過點播服務進行轉碼以及視頻處理,然後把處理好的視頻存儲到OSS上,做持久化保存。在播放端集成播放器SDK,播放器會向CDN請求資源,CDN如果有緩存會把緩存的數據發給客戶端。如果CDN緩存沒有數據會去OSS中拉取數據,在返回給客戶端,並把數據緩存到CDN上。開發者使用這些技術組件,可以快速的開發短視頻業務。

下面,我們逐一介紹解決方案的能力與特點。

解決方案中的視頻SDK,包括短視頻、上傳和播放三個。短視頻SDK包含人臉貼圖、高級美顏的功能,在用戶錄製視頻之後先進行本地美顏再進行上傳,同時也提供專業濾鏡、MV特效和裁剪壓縮、添加音樂的功能,使視頻剪輯大眾化;上傳SDK通過快速通道可以把視頻傳輸到伺服器端,支持斷點續傳、後台上傳、多文件管理等功能;播放器SDK支持Android、IOS、flash、H5等多個平台、加密播放和安全下載等。

點播和存儲服務,點播服務提供視頻管理相關的功能,比如視頻轉碼,窄帶高清可以在相同的用戶觀感體驗下,節約30%的帶寬;雲剪輯功能可以在線對視頻進行編輯處理;同時點播服務提供豐富的數據統計,開發者利用阿里雲提供的API訪問實時數據。

同時,阿里雲也在視頻領域開放了AI技術,包括內容審核,降低違規風險;智能封面,對視頻結構化處理和演算法選取最優視頻幀作為視頻封面;標籤預測,通過AI來識別視頻中文字、圖像、人物等信息,自動生成視頻標籤等。

基於短視頻業務產生的海量數據,阿里雲也提供了高可靠、強安全、低成本的存儲服務。

為了應對短視頻大規模的業務需求,阿里雲CDN建設了大量的基礎設施。

首先,阿里雲CDN擁有全球1200多個節點,分布在全球各個國家和地區,貼近用戶部署,使用戶更快速的訪問視頻內容,使視頻體驗更好。同時,為了面對業務的突發流量,阿里雲提供了超過80TB的帶寬儲備,為持續增長的業務保駕護航。並且,單節點緩存容量超過1PB,通過提供更大的緩存空間,來提升用戶訪問速度。

介紹完了解決方案之後,周哲老師又為大家介紹了阿里雲在短視頻領域的一些優化技術。

短視頻用戶體驗的關鍵指標有首屏時間、播放卡頓和播放錯誤。

一、首屏時間是指在視頻穩定播放期間,從用戶點擊播放到視頻開始播放之間的時間差。首屏時間越長,會導致用戶提前結束播放。

二、播放卡頓是指在播放過程中的不流暢情況,會嚴重影響用戶體驗。

三、播放錯誤是指用戶播放視頻時沒有成功播放,或出現異常導致提前中斷。

用戶體驗優化剖析

為了解決這些問題,我們對整個架構進行剖析。

首先,終端用戶使用阿里雲提供的視頻SDK來請求調度伺服器,調度伺服器返回對應的節點IP,然後播放器通過CDN的節點IP來請求資源,CDN的邊緣節點如果有緩存的話可以從本地發給播放器,如果沒有緩存就去二級節點進行訪問,二級節點沒有緩存會去OSS或者用戶源站拉取數據。

阿里雲CDN有一級節點、二級節點的緩存,二級節點的作用是

第一,做資源收斂,避免相同請求同時回源,減少源站壓力

第二,離邊緣節點接近,在邊緣節點沒命中的時候,能夠更快的從二級節點獲取到數據

第三,提供更大的存儲空間,提高命中。

同時,阿里雲對於整個播放過程,進行一些用戶體驗相關的數據打點,通過這些數據來進行分析,得到了一些優化點。

第一就是播放器

播放器是否優化決定了終端用戶的觀看質量。首先,我們對播放器SDK做了相關優化,比如,通過減少首次緩衝時間,可以設置在收到視頻第一個I幀就開始解碼播放;提供動態緩存大小,當出現網路抖動的時候,可以動態增加緩存大小,對數據進行預載入,通過這種方式來降低卡頓率;針對播放錯誤,播放器SDK實現了網路重試機制,來提供播放成功率。

第二個優化是針對調度系統

用戶在訪問邊緣節點的時候,訪問調度伺服器,調度伺服器返回的IP地址是不是最優的網路鏈路,這個很大程度上影響用戶對於視頻的下載速度。阿里雲自研了智能調度系統,可以選擇用戶到邊緣節點的最優鏈路,來反饋給客戶端。

第三是阿里雲提供非常多的網路節點覆蓋

能夠讓邊緣節點距離用戶更近,來提升用戶訪問速度。

第四個優化點是協議棧優化

在用戶向CDN伺服器獲取數據時,當出現網路抖動的時候,會有下載速度降低情況產生,阿里雲CDN針對TCP協議棧進行優化,通過更高效的協議棧演算法來提升下載速度。

第五個優化點是窄帶高清

開發者可以使用阿里雲提供的窄帶高清功能,來降低播放視頻的帶寬。

第六是緩存伺服器優化

用戶在訪問邊緣節點的時候,如果請求在邊緣節點MISS會直接回源,響應時間變慢,而如果邊緣節點命中,用戶的下載的速度就和邊緣節點緩存伺服器的性能具有強關聯性了,阿里雲針對緩存伺服器的性能做了很多優化,通過加大邊緣伺服器的空間和智能優化,來提升訪問速率。

第七是全鏈路監控

阿里雲也支持全鏈路監控,來提早發現問題,針對性優化,確保穩定服務

智能調度系統優化

這裡詳細介紹一下智能調度的優化,針對調度系統,阿里雲做了五個方面的優化。

第一個是精準的IP資料庫會持續更新

基於第三方IP庫數據、whois平台和淘寶手機用戶在訪問數據時的一些經緯度信息,會對IP庫進行主動探測,基於這些維度的數據,進行計算和生成。IP庫數據的準確性會對調度系統提供數據支撐。

第二個是提供HTTPDNS服務

用戶通過localdns請求調度伺服器,會遇到第一個問題是:localdns和用戶ip位置有不匹配問題,會出現基於localdns調度時,調度系統看到的客戶端ip和用戶真實ip不一致,導致調度不準確。第二個問題是:用戶查詢dns伺服器時,在查詢過程中會出現dns結果被串改的情況

通過httpdns服務,可以解決由於localdns和ip地址不匹配問題,同時也可以做到dns結果防串改,使調度更精準。

播放器基於httpdns對dns查詢做預載入,並對結果做緩存,減少dns查詢查詢帶來的首屏時間慢。

第三點是基於用戶體驗的自動化調度

會基於用戶的客戶端IP以及用戶到每個節點的網路情況、當前各個節點的狀態,來進行計算,通過一些機器學習的方式,來預測用戶到哪個節點的網路鏈路為最優。這樣就確保給用戶IP地址返回最優的網路鏈路。

第四個是大數據分析,選擇最優節點。

通過當前節點覆蓋情況和用戶訪問流量趨勢,進行數據預測,去選擇在哪裡建點,並且去計算這些節點覆蓋哪些用戶的網路質量是最優的,為調度系統提供數據支撐。

最後一點是基於內容調度,提高命中率。

通過302做內容粒度的調度,把相同URL調度到同一台機器上,提高命中率。

緩存性能優化

阿里雲CDN針對緩存系統也做了很多優化。

通過自研的緩存系統,開發基於裸盤的緩存系統。使用內存、SSD、SATA三級緩存架構,把最熱的資源存儲到內存中,次熱的資源存儲在SSD中,冷的資源存儲在SATA中,並且通過熱點遷移的方式,把SATA中熱的資源遷移到內存和SSD中,再通過淘汰演算法,把內存和SSD中的冷的資源淘汰到SATA盤中。通過這種方式,提供內存和SSD的命中率,降低SATA盤的IO讀寫情況,來存儲更多的冷資源,提高邊緣節點利用率。

同時,自研的文件系統對IO操作做了很多優化,比如說合併IP對齊寫入功能,避免內存碎片和磁碟碎片帶來的IO性能嚴重下降。對大文件進行切片存儲,分片存儲到不同磁碟中,避免因單個視頻文件過熱導致磁碟性能下降。

通過以上的優化措施,緩存的平均命中率在95%以上,首位元組時間平均低於10ms。

基於用戶體驗的TCP協議棧優化

第一個優化點是基於時間序的丟包發現機制,主要是在TCP協議棧里去分析TCP發包的時間序列,然後能夠識別出哪些包丟掉了,快速發現丟包和快速重傳。

第二個優化點是主動丟包發現機制,是指我們在發現包的時候去主動探測,避免通過超時來發現丟包,減少丟包發現的時間,提高進行重傳

第三個是自適應的初始化窗口,針對不同業務場景使用不同初始化窗口大小。

第四個是更激進的擁塞避免演算法,針對網路不好的情況,在協議棧中識別狀態,使用更激進的發包策略,解決下載速度慢的問題。

第五個優化點是使用更小的鏈接超時時間,來更早的發現丟包。

基於以上的優化,我們使用第三方檢測平台,對某短視頻業務1.2M文件,和其他CDN廠商做性能對比測試,相同文件大小從內容下載時間上看,使用阿里雲CDN有2%-6%的性能提升。其餘數據也表現優異。

歡迎大家來使用阿里雲點播服務、CDN和OSS存儲,來搭建短視頻應用。

原文鏈接

更多技術乾貨敬請關注云棲社區知乎機構號:阿里云云棲社區 - 知乎

推薦閱讀:

Windows和Linux系統如何遠程連接Linux伺服器 | 這麼帥氣的姿勢趕緊get起來~
OPNFV在雙網卡物理機群上的部署(FUEL)
memcache在Windows和linux環境下的安裝和具體配置
Android上如何搭建web伺服器?
《絕地求生大逃殺》亞服伺服器選哪個啊?

TAG:演算法 | 伺服器 | 用戶體驗 |