NVIDIA 展示了一种新的合成模型，允许用户使用多个模块来生成新图像。该团队指出，现有的条件图像合成框架基于用户输入以单一方式生成图像，例如文本、语义分割、草图或样式参考。问题是这些模型通常仅限于单个输入，因此您可以使用文本和草图，但不能同时使用这两个模块。为了应对这一限制，NVIDIA 团队开发了专家产品生成对抗网络 (PoE-GAN) 框架，该框架可以基于所需的模块集生成图像。
GauGAN 2 之前我们有介绍过，不过最近又发现NVIDIA的团队发布了一篇论文，他们开发了一个新的框架 ——PoE-GAN，该框架可以基于所需的模块集生成图像。
也就是说现在可以通过多个条件控制（如：文本、语义分割、草图、参考图）来生成你想要的画面。
这是论文官网的一个demo，大家也可以点击这里体验。文本是“冰湖附近的雪山和天空中粉红色的云”，然后通过逐步增加语义分割和草图两个控制条件后，大家可以直观地看出图像所发生的变化，有没有眼前一亮呢？
PoE-GAN 由 product-of-experts 生成器和多通道多尺度投影鉴别器组成。通过精心设计的训练方案，PoE-GAN 学习合成高质量和多样性的图像，除了在多模态条件图像合成方面取得最新进展外，而且在单模态设置中进行测试时，PoE-GAN 还优于现有的**单模态条件图像合成方法。