CHAPTER3

第3章

理解生成对抗网络

“What I cannot create, I do not understand.”

—理查德·费曼,美国理论物理学家

3.1　生成模型

3.1.1　生成模型简介

       什么是生成模型？

       在开始讲生成对抗网络之前，我们先看一下什么是生成模型。在概率统计理论中，生成模型是指能够在给定某些隐含参数的条件下，随机生成观测数据的模型，它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模，如根据某个变量的概率密度函数进行数据采样，也可以用来建立变量间的条件概率分布，条件概率分布可以由生成模型根据贝叶斯定理形成。

       如图3-1所示的生成模型概念示意图，对于输入的随机样本能够产生我们所期望数据分布的生成数据。举一个例子，一个生成模型可以通过视频的某一帧预测出下一帧的输出。另一个例子是搜索引擎，在你输入的同时，搜索引擎已经在推断你可能搜索的内容了。可以发现，生成模型的特点在于学习训练数据，并根据训练数据的特点来产生特定分布的输出数据。

       对于生成模型来说，可以分为两个类型，第一种类型的生成模型可以完全表示出数据确切的分布函数。第二种类型的生成模型只能做到新数据的生成，而数据分布函数则是模糊的。本书讨论的生成对抗网络属于第二种，第二种类型生成新数据的功能也通常是大部分生成模型的主要核心目标。

图3-1　生成模型概念图

       生成模型的作用是什么？

       生成模型似乎干的事情就是为了产生那些不真实的数据，那么我们究竟为何要研究生成模型呢？

       虽说生成模型的功能在于生成“假”数据，但在科学界和工业界确实可以起到各种各样的作用。Ian Goodfellow在NIPS2016的演讲中给出了很多生成模型的研究意义所在[2]。

       首先，生成模型具备了表现和处理高维度概率分布的能力，而这种能力可以有效运用在数学或工程领域。其次，生成模型尤其是生成对抗网络可以与强化学习领域相结合，形成更多有趣的研究。此外，生成模型亦可通过提供生成数据，从而能够优化完善半监督式学习。

       当然生成模型也已经在业内有了非常多的应用点，比如使用生成模型用于超高解析度成像，可以将低分辨率的照片还原成高分辨率，此类应用非常有用，对于大量不清晰的老照片，我们可以采用这项技术加以还原，或者对于各类低分辨率的摄像头等，也可以在不更换硬件的情况下提升其成像能力。

       使用生成模型进行艺术创作也是非常流行的一种应用方式，可以通过用户交互的方式，输入简单的内容从而产生艺术作品的创作。

       此外还有图像到图像的转换、文字到图像的转换等。这些内容都非常有趣，不仅可以应用于工业与学术领域，也可应用于消费级市场。关于更多应用方面的详细介绍会在本书的后半部分中展开详述。