不可微的损失函数

数据挖掘 机器学习 神经网络 美国有线电视新闻网 损失函数
2022-02-12 01:42:19

我有一个损失函数,可以根据我希望神经网络执行的操作来最小化错误。问题是,它是一个不可微函数。我该如何处理?

损失函数:(1y)log(1p)+min((1y)(ylog(p)))

  • y: 目标
  • p: 预言
  • len((1-y)-(y*log(p)))= len(y)=len(p)

我试图平滑最小值,但我不确定这是否足够好。如您所见, min 运算符是不可微的

如何用神经网络处理不可微的损失函数?

1个回答

您可以使用基于非梯度的方法进行优化。该领域称为无导数优化

局部搜索是神经网络无导数优化的一种常用方法