让我们首先从强化学习的入门开始。强化学习是一种学习方法，它预测在给定状态下要执行的动作或预测与给定状态和动作对关联的值。

所以，尼尔是正确的，这个问题不是明确的强化学习问题。这就引出了一个问题，如何定义强化学习问题。它被定义为一个包含以下元素的 5 元组。$S$是状态集，它必须是有限的。$A$是在给定状态下可用的一组动作，它有时也写成$A_s$.$P_a(s, s') = \Pr(s_{t+1}=s' \mid s_t = s, a_t=a)$是动作的概率$a$在状态$s$将导致状态$s'$.$R_a(s, s')$是使用动作时获得的奖励$a$从状态转换$s$到$s'$.$\gamma$这是折扣因子，它是介于$0, 1$ 包括在某些步骤打折奖励。

现在，我们必须以强化学习问题的形式来构建问题。您需要建立一个状态，在您的情况下，这将是您认为与他们的幸福高度相关的患者信息（或者是他们情绪的一个因果因素）。现在，您拥有您设计的这些功能的患者状态。现在你必须决定如何恰当地构建你的问题。在这里你有两个选择，你可以选择他们的情绪是什么，并根据需要（基于真实标签）更新你的权重（你的模型权重，或者你想要输出的权重），或者你可以使用你的模型来选择一个行动（在这种情况下，它将是 1-7 类）。这些方法被标记为$Q$ 学习或 $\pi$政策方法。这些是 RL 中存在的主要方法，可以选择分配给给定状态和动作的值$Q(a, s)$另一个处于一个状态$\pi(s)$并将其映射到要执行的操作。您可以根据方便/经验决定要使用哪一个。

完成此操作后，您必须决定要用于更新渐变的架构，这完全取决于您。您可以进行文献综述以了解该领域正在发生的事情并使用您认为合适的内容。举个例子，假设您想要使用由普通 CNN 更新的 Policy 方法。你会以某种可以被 CNN 解释的形式将状态传递给你的 CNN，然后根据类标签选择一个动作。现在，您将拥有一个奖励函数，该函数将选择您与真实班级的距离（您可以启发式地执行此操作，例如幸福距离悲伤 10 个单位）。奖励函数将传播到网络，并根据需要更新权重。

个人评论：我认为这对于当前的任务是完全没有必要的。在我看来，一个简单的视觉分类器应该做得很好。有大量可用的数据集包含面部特征并对情绪/幸福进行分类。此外，许多统计学家认为幸福/悲伤的数值是一个不好的衡量标准，因为诸如“快乐与快乐有多大不同”之类的问题在将奖励与它们相关联的情况下很难回答。请考虑尼尔的评论。