根據語義生成圖像的相關研究工作有哪些？

在圖像理解方面，有沒有根據語義來生成圖像，求見多識廣的大神……

---

目前有如下工作針對text生成image，(有公開代碼) , 歡迎補充

1. ICLR 2016

Generating Images from Captions with Attention: 該工作擴展了DRAW，在此基礎上添加相關描述信息，指導圖像生成。

• GitHub - emansim/text2image: Generating Images from Captions with Attention

2. ECCV 2016

Attribute2Image: Conditional Image Generation from Visual Attributes : 該工作基於Conditional VAE 網路

• GitHub - xcyan/eccv16_attr2img: Torch implementing of attribute2image project

3. ECCV 2016 Generative Visual Manipulation on the Natural Image Manifold : 該工作利用了生成式對抗網路

GitHub - junyanz/iGAN: A deep learning software that easily generates images with a few brushstrokes (from UC Berkeley and Adobe CTL)

該工作不是根據text，而是根據你畫的輪廓和顏色信息來生成相應的圖像，很有趣。

評論區補充

4. ICML 2016

Generative Adversarial Text-to-Image Synthesis

GitHub - reedscot/icml2016: Generative Adversarial Text-to-Image Synthesis

---

肝CVPR閑暇之餘來摸個魚。我理解的題主說的「語義」包含句子和詞語兩個方面。

1，根據句子生成圖像：

Generative Adversarial Text to Image Synthesis

https://arxiv.org/abs/1605.05396

這個是用的生成對抗網路完成從encoded句子到圖像的轉換。

Generating Images from Captions with Attention

這個樓上已經說了

2，根據詞語生成圖像：

Generative Adversarial Networks

https://arxiv.org/abs/1406.2661

生成對抗網路的老祖宗。從class生成圖像。下面兩個工作都是其變體。

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

https://arxiv.org/abs/1511.06434

Deep Generative Image Models using a ?Laplacian Pyramid of Adversarial Networks

Deep Generative Image Models using a ?Laplacian Pyramid of Adversarial Networks

我對圖像生成模型不是很熟悉，輕拍。

---

我知道你說的這個，文景轉換。

我室友的畢設題目就是這個。

---

推薦閱讀：