当某些目标具有正确的 NA 标签时的多目标回归

数据挖掘 回归 张量流 多类分类 计算机视觉
2022-03-13 11:07:17

我正在研究一个对身体部位(左脚、左膝盖、左臀部等)进行关键点预测的 Keras 神经网络。对于每个图像 (X),目标 (Y) 是关键点的坐标列表(left_foot_x、left_foot_y、left_knee_x、left_knee_y)等)。只要关键点不可见,X 和 Y 坐标就等于 = 0。

我怀疑将数据留在这种状态会导致不好的结果,因为 0 确实意味着 NA(即关键点不可见)。将 X 和 Y 坐标保留为 0 表明关键点实际上在拐角处,这是错误的。当正确的输出有时是 NA 时,构造数据以进行多目标回归的正确方法是什么?

1个回答

一种选择是修改您的网络,为每个身体部位输出一个二进制标签,表明该部位是否可见。

您需要进行以下更改:

  • 修改您的网络架构以返回范围内的实数[0,1]对于每个身体部位。sigmoid 将是最后一层的适当激活。它的语义ith身体部位可见。
  • 使用新标签的适当值扩展您的训练和测试数据。
  • 将损失更改为仅考虑身体部位位置之间的差异(预期与预测),如果预期会找到该部分(例如通过相乘)。我不太确定您应该在这里使用真实标签还是预测标签(甚至两者的平均值)。
  • 使用 body part presence flag的交叉熵向您的损失添加一个新术语(添加到原始损失)您可能应该添加一个加权因子α这个新的损失项相对于位置距离损失项具有适当的比例。