支持向量机将优化问题从 argmax 转换为 argmin

人工智能 机器学习 分类 支持向量机 二元分类
2021-11-05 10:24:16

我是 AI Stackexchange 的新手,不确定是应该放在这里还是转到 Maths,但我认为 ML 的上下文可能有助于理解我的问题。我希望在这里发布这个问题可以帮助另一位学生学习支持向量机。

我目前正在大学学习支持向量机,遇到了一个我无法理解的奇怪步骤。我们讨论了基本的 SVM 并制定了优化问题maxw,b{1||w||minn(y(n)f(x(n)))}然后我们将其简化为maxw,b{1||w||}通过介绍κ作为比例因子wb根据 SVM 的边距。现在我们的讲师不加解释地将其转换为二次优化问题minw,b{12||w||2}我自己无法解释。我希望有上下文的人可以帮助我这是怎么可能的,这种方法背后的数学或技巧是什么?


符号信息:

  • w- 权重矩阵
  • b- 偏见(有时表示w0我相信?)
  • x(n)- 自变量(向量)
  • y(n)- 因变量(将二元分类中的输入标量分类为y=1或者y=1)

非常感谢你!

1个回答

所以实际上我设法让我的讲师解释了 argmax 到 argmin 的转换。

一般来说最大化1||w||等同于最小化||w||. 作为||w||1||w||减少,整体价值增加,即我们最大化它。选择的理由12||w||2事实证明,这是一种数学性较差但更实用的算法,因为我们使用的优化算法在二次函数和12似乎是一个相当随意的缩放选择。

如果有人有什么要补充的,我很想听听任何细节!