在 Coursera 课程机器学习的多元线性回归部分中，Andrew Ng 提供了以下梯度下降技巧：
- 使用特征缩放更快地收敛
- 将特征放入大约 -1 < x < 1 的范围内
- 均值归一化
Andrew Ng 还提供了一些其他提示：
- 绘制成本与迭代
- 确保每次迭代的成本降低（尝试更小的 alpha）
- 确定收敛是否太慢（尝试更大的 alpha）
- 大致确定要收敛的迭代次数
这些技巧是否适用于所有涉及使用不同机器/深度学习算法的梯度下降的问题，还是仅适用于多元线性回归？
我应该考虑所有基于梯度下降的算法的特征缩放吗？
数据挖掘
梯度下降
2022-03-01 07:34:34
1个回答
关于绘图成本与迭代的技巧，它们通常适用于梯度下降方法，包括深度学习，其中超参数调整（例如学习率）至关重要。
关于适当的输入缩放，它不仅与机器学习方法有关，而且与正在考虑的具体问题有关。有时机器学习算法依赖于距离来计算个体之间的相似性。缩放会改变其中一些距离。在这些情况下，应评估缩放后的结果距离，以检查它是否比不缩放更合适。在这里您可以找到聚类的示例。对于一些机器学习算法，您需要标准化特征，例如正则化线性/逻辑回归。对于大多数基于优化的机器学习算法，进行特征缩放是有意义的。另一方面，存在缩放甚至没有意义的问题（例如离散输入问题，如基于标记的自然语言处理）。