数学偏差和权重与机器学习偏差和权重

数据挖掘 机器学习 预测建模 线性回归 偏见 权重初始化
2022-02-16 03:01:05

关于机器学习,我对术语偏差和权重有点困惑。

假设我们想预测给定体重的人的身高。因此,将权重绘制到 x 轴,将高度绘制到 y 轴。为了找出身高和体重之间的线性关系,我们画一条直线来显示身高和体重之间的关系。

在此处输入图像描述

使用直线方程,你可以写下这个关系

y=mx+b...i)更具体地说,在机器学习术语中它可能是y=b+w1x1...ii)

所以这里的 b 是机器学习的偏差。但是,根据数学,b 是 y 截距。通过定义 b 可以在机器学习中定义A value indicating how far apart the average of predictions is from the average of labels in the dataset.平均偏差(b)是红线的某个特定点(根据图片)到真实点(比如蓝色或绿色点)之间的距离。

现在另一个混乱,如果是这种情况,那么什么是损失?根据定义损失是A measure of how far a model's predictions are from its label.那么损失和偏差有什么区别?

现在,对于重量,这里的重量(m)表示根据方程 i)的斜率。数学上的斜率可以定义为

m=riserun=y2y1x2x1

然而,重量(w1)可以在机器学习中定义为A coefficient for a feature in a linear model. 所以我的困惑是,求重量的过程与数学中求斜率的过程是一样的吗?

1个回答

好的,让我们从第一个问题开始:

是不是平均偏差(b)是红线的某个特定点(根据图片)到真实点(比如蓝色或绿色点)之间的距离。

如果您使用单词差异而不是距离,您将是正确的。偏差是估计值与真实值之间的差异。以这种方式考虑,如果您的称重机每次测量时总是显示少 5 公斤,那么您将在它测量的每个重量上增加 5,作为抵消机器所做的所有测量的一种方式。因此,如果您的数据“偏向”一侧,则此偏差项通过添加/减去“权重的偏差”来抵消这种行为。这里有一些更严格的解释。

损失和偏差有什么区别?

另一方面,损失是衡量您的估计器与真实预测的接近程度的量度,可以在不同类型的训练中使用不同的损失函数,对于线性回归,我们可以使用MSE使用损失函数,我们可以客观地优化我们的权重和偏差。因此,具有适当的偏差(和权重)值会导致我们的损失更低,从而提高模型的准确性。

所以我的困惑是,求重量的过程与数学中求斜率的过程是一样的吗?

过程不同,但最终结果是一样的。要明白为什么你需要意识到你正在计算y^如下:给定m,b和一点x, 计算值y^然后用于计算损失。这个值连同mb然后用于计算更好的值mb使用梯度下降请注意,我们绝不是在谈论直接计算m使用y^, 我们正在迭代地计算更好的权重和偏差值。最终结果?对于单维数据,模型学习的权重确实是斜率(绘制时),偏差是 y 截距。随着维数的增加,这是正确的,但是它不再是单个值,而是变成了多维向量。