我想设计一个获取两个图像（一个正在构建的图像和一个理想的图像）的网络，并且必须为一个简单的运动命令提供一个动作向量，该命令将增强正在构建的图像以类似于理想的图像更多的。所以基本上，它将图像差异转换为运动命令以使它们更相似？

我正在处理 3D 虚拟环境，因此图像是对象的快照，而运动命令是对 3D 形状的简单更改。

可能网络需要两个具有相同权重的预训练 CNN 来提取图像特征，然后将它们输出并连接到一个密集层（或两个）中，该密集层会聚到动作空间中。培训可能应该通过强化学习进行

此外，最终它需要重复，因为它需要连续执行多个运动动作才能更接近预期结果。

这会有什么严重的困难吗？或者有什么方法可以达到预期的结果？或任何类似的例子？

提前致谢