[CVPR2018筆記]Im2Flow: Motion Hallucination from Static Images for Action Recognition
05-22
[CVPR2018筆記]Im2Flow: Motion Hallucination from Static Images for Action Recognition
來自專欄 CVPR 2018 論文筆記
CVPR 2018 ORAL
本文思路很清晰且已讀，具體細節可以看文章，這裡僅僅把總體思路講一下。
用u-net訓練一個模型：輸入是一個靜態的幀，輸出的預測的五幀光流信息，模型在youtube數據集上訓練。
該模型loss分兩部分，一部分是將生成的五幀光流信息與youtube數據集的groundtruch對比，另一部分是將生成的光流信息與真實的光流信息送進某網路（在ucf101上預訓練過的resent）計算歐式距離；前者是要求準確，後者是為了更好保留high-level的動作信息。
最終將rgb和預測的光流作為標準two-stream模型的輸入進行預測。
推薦閱讀：
※首發——Large Margin Object Tracking with Circulant Feature Maps
※CVPR2018 | 新加坡國立大學論文：利用互補幾何模型改善運動分割
※[CVPR2018筆記]Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
※[CVPR2018筆記]Actor and Action Video Segmentation from a Sentence
※從CVPR2017 看多樣目標檢測