经过一番研究，我想出了答案，如果有人也觉得它有帮助，我想与人们分享。Perceptron 的损失函数是铰链损失或

$J(w) = max(0, -yw^Tx)$。

向损失函数添加一个常数不会改变函数值，因为它不会改变决策的符号。换句话说

$J_2(w) = max(0, -\alpha yw^Tx) = J(w)$。

如果我们使用进行梯度下降，我们有$J_2$

$\partial(J_2)/\partial(w) = 0$，如果；$J_2 = 0$

$\partial(J_2)/\partial(w) = -\alpha yx$，否则。

所以梯度下降的更新函数为

$w_{new} = w_{old} \pm \alpha x$。

只要，它就不会在任何步骤中改变感知器的决策。这就是为什么对于 Perceptron，您只需将学习率设置为 1。$\alpha > 0$

具体回答这个问题，当人们说“学习率只缩放 ”时，他们指的是而不是。$w$$J_2(w) = max(0, -\alpha yw^Tx)$$w_{new} = w_{old} \pm \alpha x$

我发现非常有用的一个相关问题是 在感知器收敛的上限中归一化最终权重向量

学习率调节梯度下降算法的每一步$t$

可以将其设置为任意数量是不正确的，这与事实相去甚远。太小的学习率永远不会让你的机器学习模型收敛到最小值，而太大的学习率会导致你的模型参数在可能的最小值附近振荡。

我在这里更详细地回答了基本梯度下降算法如何受到学习率选择的影响，然后我提出了一些更好的替代方法：自适应学习优化器是否遵循最陡峭的体面？.

更多细节

更准确地说，梯度下降的更新规则是

$w^{t+1} = w^t + m\nabla J(w)$

其中是学习率，$m$

$J(w) = \frac{1}{2}\sum(y-\hat{y})^2$

是成本函数。因此，它不会在乘法意义上缩放权重，但它确实缩放了权重在算法的每个步骤中将经历的校正。