跨模態深度特徵表示應用於檢測任務

（1）深度網路應用於從多模態數據學習特徵表示：

Deep fragment embeddings for bidirectional image sentence mapping

Learning deep representations of appearance and motion for anomalous event detection

Detecting anomalous events in videos by learning deep representations of appearance and motion

（2）學習和轉移跨模態特徵：

Learning to recognize objects from unseen modalities

Multimodal learning with deep boltzmann machines

Zero-shot learning through cross-modal transfer

Cross modal distillation for supervision transfer

Learning with side information through modality hallucination

（3）學習跨模態深度特徵表示應用於行人檢測

Learning Cross-Modal Deep Representations for Robust Pedestrian Detection

主要考慮解決在不利光照條件下行人檢測問題，提出學習和轉移跨模態特徵表示的新型學習框架，來自輔助模態的的數據（如熱圖）作為從RGB圖像學習CNN特徵的監督形式，這帶來兩個優勢，其一在測試階段不需要應用多光譜數據，於是在實際部署監控系統時只需要傳統攝像機節省成本，其二是在熱域中不需要標註省去人力標註工作，即以非監督方式學習學習跨模態特徵，進而允許利用大量RGB-thermal圖像對。這種學習跨模態特徵表示的方法使得多光譜數據知識轉移得以完成。結構如下：

ps：多任務學習、跨模態特徵，團結就是力量嗎......

推薦閱讀：