这种差异的正式名称是“生成”与“判别”模型。

默认情况下，使用简单的前馈神经网络和一组具有预期答案的训练数据的监督学习过程将产生判别模型。很难使用这样的模型直接生成内容。

判别模型和生成模型之间的差异往往在架构级别或更深层次，尽管一些生成技术是简单的变体或判别网络的重新用途。就 NN 设计而言，没有单一的“根本”差异。唯一的共同主题是生成模型比判别模型更复杂，更难使用。

图片

• 目前最流行的图像生成可能是生成对抗网络或 GAN。这些训练一个生成器从随机输入创建图像，以及一个试图识别与真实图像相比的假货的鉴别器。一起训练它们会产生一个生成器网络，该生成器网络在创建假数据方面会越来越好。

• 也适用于图像生成的是变分自动编码器 (VAE)，它本质上是通过将一组图像压缩成一个小的表示来学习的，因此能够“解压缩”相似的表示。

• 还有VAEGAN，它结合了VAE和GAN

• 还有其他模型可以从数据集中生成示例。例如，受限玻尔兹曼机 (RBM) 类似于神经网络，但神经元随机触发，RBM ​​需要与 NN 不同的训练过程。

• GANs、VAEs、VAEGANs、RBMs 可用于在任何简单的非序列数据集中生成数据，它们不仅限于图像，但最近与 GANs 的合作在这方面表现出色。

• 对于不同类型的生成器，您可以查看Deep Dream 的工作原理。这里有趣的是，它是对经过监督学习训练的前馈网络的修改。本质上，要运行 Deep Dream，您需要获取现有图像并对其进行更改，以使其最大化现有神经网络的某些内部部分，“训练”图像，就好像它是一组权重一样。

  • Deep Dream 与其他生成技术的区别在于它不会生成可能在训练集中的内容——它不利于创建“逼真的”图像。

文本

• 循环神经网络，特别是长短期记忆 (LSTM) 网络可用于通过训练预测下一个单词来对单词序列进行建模。因为生成的模型是概率性的（例如，下一个工作是“你好”的概率约为 0.001%），所以进行这种生成的简单方法是从预测中随机抽样，然后将它们反馈到序列中以查看它会发生什么接下来预测。Andrei Karpathy有一篇关于这项技术的精彩博客文章。

音频和音乐

• DeepMind 的 WaveNet 架构类似于 CNN，从给定的输入中预测下一个音频样本。它可用于语音或音乐生成。

• LSTM 在这里是一种流行的选择，对于语言模型也是如此。

一个重要的警告。与更简单的监督技术相比，几乎所有这些模型都难以理解、使用和训练。如果您想充分理解它们以实现自己的版本，可能最容易掌握的是 Deep Dream、VAE 和 LSTM。

还值得注意的是，除了神经网络之外，还有许多其他生成内容的方法。例如，声音和音乐的生成有着悠久的历史，完全独立于最近的人工智能发展。