我有一个损失函数,可以根据我希望神经网络执行的操作来最小化错误。问题是,它是一个不可微函数。我该如何处理?
损失函数:
- : 目标
- : 预言
len((1-y)-(y*log(p)))=len(y)=len(p)
我试图平滑最小值,但我不确定这是否足够好。如您所见, min 运算符是不可微的
如何用神经网络处理不可微的损失函数?
我有一个损失函数,可以根据我希望神经网络执行的操作来最小化错误。问题是,它是一个不可微函数。我该如何处理?
损失函数:
len((1-y)-(y*log(p)))= len(y)=len(p)我试图平滑最小值,但我不确定这是否足够好。如您所见, min 运算符是不可微的
如何用神经网络处理不可微的损失函数?
您可以使用基于非梯度的方法进行优化。该领域称为无导数优化。
局部搜索是神经网络无导数优化的一种常用方法。