DeepMind提出Auto-encoding GAN的变分方法

    生成对抗网络是目前机器学习研究领域学习生成模型的最主要的方法之一，它提供了一种学习隐变量模型的更灵活的算法。定向隐变量模型描述了源噪声数据是如何通过非线性函数变换为貌似真实的数据样本的，而GAN则通过辨别真实数据和模型生成数据来驱动学习过程。GAN可以在大型数据集上进行训练，当使用图像数据进行训练的时候，GAN能够生成视觉上相当真实的图像样本。但这种灵活性也带来了优化过程中的不稳定性，会导致模式崩溃的问题，即生成的数据不能反应潜在的数据分布的差异。基于自编码器的GAN（auto-encoder-based GAN, AE-GAN）正是为了解决这个问题的GAN变种，它使用了自动编码器来鼓励模型更好的表示所有被训练的数据，从而阻止模式崩溃。

    自动编码器的应用成功的改善了GAN训练。例如，即插即用生成网络（plug and play generative network, PPGN）通过优化结合了自动编码器损失，GAN损失，和通过与训练的分类器定于的分类损失的目标函数，得到了最高水平的样本。AE-GAN可以大致分为三种：（1）使用自动编码器作为判别器，例如energy-based GAN和boundary-equilibrium GAN。（2）使用去噪自动编码器以得到更称其的辅助损失函数，例如denoising feature matching GAN。（3）结合了VAE和GAN的方法，例如变分自动编码器GAN（variational auto-encoder GAN, VAE-GAN）。

    该论文中，作者提出了结合AE-GAN的原则性方法。通过探索由GAN学习到的隐变量模型的层次结构，作者展示了如何将变分自动编码器与GAN结合到一起。该方法能够克服各自方法的限制，因此具有极大的优势。当基于图像进行训练时，VAE方法经常会生成模糊的图像，但VAE不会像GAN一样受到模式崩溃问题的困扰。GAN几乎不允许对模型进行分布假设，而VAE允许对隐变量进行推断，这对于表征学习，可视化和解释是很有用的。该论文开发的方法结合了这两个方法中的优点，提供统一的学习目标函数，无监督，不需要预训练或外部分类器，并且可以轻松的扩展到其他生成模型任务。

该论文主要进行了一下工作：

·         表明变分推理（variational inference）同样使用与GAN，以及如何可以将判别器用于具有隐式后验近似的变分推理。

·         在学习生成模型时，可以组合likelihood-based和likelihood-free模型。在likelihood-free设定中，开发了具有合成似然性的变分推理，使得可以学习这种模型。

·         制定了自动编码GAN（auto-encoding GAN，α-GAN）的原则目标函数，并描述了使它进行实际工作所需的思考。

·         评估是GAN研究中的主要挑战之一，作者使用了一系列评估措施仔细评估了该方法的性能，与DC-GAN，WGAN和对抗-生成-编码器（adversarial-generator-encoder，AGE）进行比较，展示了论文中的方法与这些方法有相媲美的性能，并强调隐生成模型中持续评估的挑战。

论文：Variational Approaches for Auto-Encoding Generative Adversarial Networks

来源：雷锋网