所有已知的 ML 算法都可以写成一系列矩阵运算吗?

数据挖掘 线性代数 矩阵
2022-03-14 10:39:55

我一直听说机器学习只是线性代数。

这是否意味着所有已知的(和所有可能的?)机器学习算法,从随机森林到支持向量机,再到递归神经网络,都可以写成一系列基本矩阵和向量运算,例如乘法、加法、求和、 ETC?

以这种方式编写算法是否能够捕获模型的所有方面,例如架构、激活函数、学习率、优化方法?

像卷积这样的高级特征可以表示为基本的矩阵运算吗?

是否有任何不正确的 ML 算法?

矩阵代数图灵完备吗?

1个回答

线性代数对于 ML 非常重要,但ML 不仅仅是“线性代数”。

任何线性矩阵向量运算序列都是线性的。因此,任何非线性运算都不能使用线性代数来计算。

ML 中使用的一些非线性操作示例:

  • if 语句:例如(x < 0)
  • softmax 激活
  • 整流线性单元

像卷积这样的高级特征可以表示为基本的矩阵运算吗?

这个说法其实是真的。单个卷积可以表示为矩阵。然而,任何现代 CNN 在卷积之后都具有非线性。