更准确地说，仅当我们的输入具有高平移不变性时，DQN 才适用吗？
从关于自然的原始论文（这里是存储在 googleapis 上的版本）开始，在网上寻找其他一些实现之后，并基于这个 NN 从卷积层开始的事实，我认为这是基于我们为网络提供的假设图片，但我不太确定。
如果 DQNN 可以与其他类型的输入一起使用，请随时在您的答案中包含示例。此外，参考将不胜感激。
DQN 是否仅适用于图像作为输入？
人工智能
强化学习
参考请求
深度学习
dqn
2021-11-04 02:56:07
1个回答
更准确地说：DQNN 是否仅在我们的输入具有高平移不变性时才适用？
不，DQN 不限于具有这些属性的图像或其他类型的输入，它几乎可以与任何类型的输入一起使用。
DQN 算法应该与神经网络架构分开来看。DQN 可以与任何类型的神经网络架构一起使用。是的，与 DQN 一起使用的最常用的架构类型可能是从一堆卷积层开始的架构，而这些架构最适合基于图像的输入。但这不是要求。如果您有其他类型的特征，而卷积层没有多大意义，例如，您可以直接从一些 ReLU 层开始。
以下是 DQN 用于解决 OpenAI 基线存储库中没有基于图像输入的问题的两个示例：
在这两种情况下，他们都使用deepq.models.mlp()构建一个相对简单的多层感知器架构，没有任何卷积层。在Atari 游戏的这个示例中，它们确实具有基于图像的输入，因此还使用deepq.models.cnn_to_mlp().
请注意，如果您具有相对简单的功能，则通常可能不需要使用 Deep RL 方法；具有线性函数逼近的 RL 的表格 RL 方法在您已经具有良好特征的情况下可能同样有效。如果您有基于图像的输入，那么这些方法不太可能很好地工作。像 DQN 这样的深度 RL 方法的缺点是它们往往需要比简单方法更多的经验/数据。
所以，一般来说，有趣的问题不是“ DQN（或另一种深度强化学习方法）可以处理我的输入吗？ ”，因为答案可能是肯定的。更重要的问题通常是“我是否必须使用 DQN（或其他深度 RL 方法？ ”。如果您有基于图像的输入，该问题的答案几乎总是肯定的，但如果您已经有，则相对通常是否定的）好的特征作为输入。
Deep RL 现在真正流行的另一类问题是连续控制问题（例如机器人模拟器、MuJoCo 等）。这些没有基于图像的输入，但通常仍然需要 Deep RL（虽然不是 DQN；DQN 不能很好地处理连续值输出，它会生成离散输出）。
其它你可能感兴趣的问题