支持向量机优化问题

机器算法验证 机器学习 自习 支持向量机
2022-04-05 20:08:44

我在 coursera 的机器学习课程上遇到了这个问题。谁能解释一下您如何解决以下问题?

在此处输入图像描述

在此处输入图像描述

编辑:

根据我的理解(也许我错了),theta 总是与决策边界正交。通过查看数据,决策边界似乎应该是 Y 轴。由于 Y 轴将正负分开。此外,它将具有最大的保证金。

但我不明白如何计算 theta 的范数。由于 theta 向量是未知的。

注意:这不是家庭作业问题。我已经知道这个问题的正确答案。但我不知道如何解决这个问题。我只想知道如何解决这个问题。

2个回答

这个问题的简化是截距项此条件允许通过原点绘制决策边界。然后目标是最大化投影向量的有符号长度,从而最小化的范数,这是我们的优化目标:θ0=0θargminθ12j=1nθj2.

在此处输入图像描述

如果您围绕原点旋转绿色向量,则优化落在最直观的位置。这是带有滑块的 Geogebra 模拟。θ

因此,只需阅读 x 坐标,并考虑的倒数关系(较小的投影值需要较高的来补偿),在约束下。pθθ±1

如果投影碰巧是对称的,则的约束将规定规范,至少为±2pI=1θ1pI=0θ1θ1/2

在两个特征的情况下,theta 的范数是它的长度(如图所示 - 没有截距或“偏差项”)。θ=θ12+θ22

我建议你在这里学习 Andrew Ng 关于 SVM 的讲义。简短的回答是,首先你需要解决然后,使用以下方程 求解αiθw

w=i=1mαiy(i)x(i)