如果我们考虑批量梯度、随机梯度、小批量梯度,它们会影响实际预测吗?正如我们所知,他们总是试图达到局部最小值。
Gradient 对实际预测有影响吗?还是为了实用方便而设计的?
数据挖掘
梯度下降
2022-02-18 10:27:10
1个回答
它们会影响实际预测吗?
是的。您使用的梯度下降类型会影响模型的训练方式。因此,由于训练的模型可能不同,它可能会导致不同的预测。
正如我们所知,他们总是试图达到局部最小值
是的,每种梯度下降技术都有相同的目标,即通过遵循梯度来优化成本函数。但是,正如您所指出的,梯度下降可能最终会出现不同的局部最小值,其中一些可能比其他的更好。并且每种梯度下降技术或多或少都容易找到全局最小值,这可能会导致预测的差异。
我还建议您尝试这些不同的方法并查看培训的进展情况。这可以帮助您直观地了解每种技术的影响。另外,我发现这个博客对于更好地理解差异非常有用:https ://towardsdatascience.com/gradient-descent-algorithm-and-its-variants-10f652806a3
其它你可能感兴趣的问题