能否搜索某視頻的其中一幀畫面?或者通過一張圖片搜索此圖來自哪個視頻?
12-08
其實這就是個以圖搜圖的問題,這種近似圖片搜索的技術已經很成熟了,知乎上好多人的盜圖騙贊行為都是被google搜圖揭穿的。
對視頻來說,沒必要搜索每一幀畫面,只需要搜索關鍵幀就可以了,每個關鍵幀就是一張圖片。對於一部100分鐘的電影視頻,假設每秒一個關鍵幀,那麼關鍵幀一共 100 * 60 = 6000張。
這種數量在演算法複雜度和存儲量上是可以接受的,關鍵在於這樣的應用能否帶來價值帶來用戶量,反正技術上是完全沒問題的。
本質上就是一個以圖搜圖的問題。
可以先考慮對視頻做分析,相似的連續場景內只抽一幀作為關鍵幀,這部分就考慮到視頻的連續性問題了。或者就像姚大說的那樣,一秒抽一幀,問題也不大。
然後對關鍵幀抽特徵,以前常用sift,現在一般拿cnn抽特徵,之後做哈希,最簡單的當然是LSH了,這樣的話,特徵數據其實也會非常小,存儲起來問題也不大。
不過本質點在於,圖片搜索到現在為止都沒還沒大規模的流行起來,視頻搜索想要真的投入商用,估計至少還要五到十年吧。
國內大公司而言,阿里的華先勝老師,360的顏水成老師,都是這個領域的專家,如果真的要大規模商用,感覺這兩家可能性或許會更大一點。
有一個網站可以根據截圖來搜索動畫來源(作者為 @soruly ):
WAIT: What Anime Is This?
比如我現在找了一張新鮮的截圖,把鏈接粘過來:
之後網站就會搜索出這張截圖前後幾秒的視頻片段:
下方還會有來自 AniList 的動畫介紹。網站源碼:GitHub - soruly/whatanime.ga: Image Reverse Search for Anime Scenes
目前的最高票答案,董同學的答案里提到的那個識別網站,我看了下網站源碼,文件很少,我打開search.php掃了一眼,貌似這程序最多只能識別自己有圖片對比信息的那幾部漫畫,上圖:
別的不說,代碼這樣子像是只能識別有限的幾部漫畫,因為評論無法發圖,就匿名發答案在這裡吧。
視頻的識別,需要很大的資料庫,把關鍵幀的顏色分布信息記錄下來,而單純識別圖片的商業回報恐怕距離文字搜索有很大距離,用戶群也小,所以,暫時感覺沒什麼人願意做好。理論上沒有技術難度,但是實際搜索體驗還是很差,尤其是冷門(艾薇)資源。
一般熱門資源直接上百度知道問就會有人答,但是冷門資源更容易石沉大海,這時候需要搜索引擎,可是引擎也無能為力。
前兩天在xhamster上看了一段視頻,截圖搜索和論壇求車牌未果,後來意外看到了演員的另一部作品,以名字在某資料庫中人肉比對多時才找到(作品太多了),前後花了10個小時左右。
以前未解散的快播研發出一種新的搜索電影和視頻的方法—圖種技術,就是將視頻的種子鏈接添加到圖片中。你下載的只是一張jpg圖片,但是這張圖片拖進快播播放器中就可以直接打開這個視頻。其中也可以選擇圖片打開視頻的時間幀。這個就是將種子鏈接文件變成了可視化的圖片。大家有興趣的可以去百度貼吧搜索:「圖種獵人王」。(不知還有沒有了)
這個也可以邀請前大神何總來回答@何明科
WAIT: What Anime Is This?
這個創意極好,其實技術層面是可以做到的
可行,谷歌的圖像搜索就是這個功能,當然搜視頻數據是可行的,不過要有視頻數據關鍵幀記錄才能做大致的匹配!
在視頻數據中抽出關鍵幀數據(如果視頻是那種劇烈變化視頻,要留存的數據就更多了),然後用圖像搜索功能就有實現95%以上匹配機率!你會遭到愛情動作界司機們的集體追殺!!!
能否搜索某視頻的其中一幀畫面? 這個可以做吧,用opencv把視頻拆成圖,再計算一下每張圖和搜索的圖的匹配程度啥的,就行了
理論上可以的!
實際操作上困難重重!
原因:
第一,你要掌握圖像自動識別技術,這一技術的實現比單單識別人臉要難得多。但是不是說不可能。
第二,龐大的伺服器集群,我不知道你資金是否雄厚。
第三,以120分鐘視頻為例一般會達到180000幀。你抽取一幀要和180000幀對比。假如你伺服器端儲存1000部電影,你可能就要和180000000幀進行對比,可想而知。另外你的伺服器要儲存這些視頻、幀。而且你取得幀是否清晰可辨也是問題。
第四,伺服器端(軟體部分)也要高性能。要不然搜索等半天沒有意義了。但是對比耗時難以避免。
推薦閱讀: