广义加性模型,基础扩展和提升之间有什么区别?

机器算法验证 机器学习 术语 助推 样条
2022-03-26 19:42:42

我对这个词感到困惑

  • 广义相加模型
  • 基础扩展
  • 提升

如果我们用“样条基础”拟合数据,它是“广义加性模型”吗?对我来说,这只是一个具有不同基的线性模型,我们可以使用多项式基或傅立叶基等来实现。

“广义加法模型”中还有一个“加法”概念,它与提升有何不同?

1个回答

基扩展意味着一个基函数在数学中,基函数是函数空间的特定基的元素。例如,正弦和余弦构成傅立叶分析的基础,只需将足够的基函数加在一起,就可以复制任何波形形状(方波、锯齿波等)。出自Basis (linear aglebra) “在数学中,向量空间V中的一组元素(向量)称为基,或一组基向量,如果向量是线性独立的并且向量空间中的每个向量都是线性的这套组合。” 寻找基函数的目的是创建一个生成集例如,“实向量空间 R3有 {(-1,0,0), (0,1,0), (0,0,1)} 作为生成集。这个特定的跨越集也是一个基础。如果 (-1,0,0) 被 (1,0,0) 替换,它也将形成 R 的规范基础3。”

对于机器学习来说,“基础扩展”只是“向模型中添加更多线性项”的一种奇特方式。例如,该术语在 Peter Buhlmann 和 Torsten Hothorn 的 BOOSTING ALGORITHMS:正则化、预测和模型拟合中恰好使用过一次,所以如果你完全错过了这个意思,你就不会被淘汰太多。

同一篇 Buhlmann 和 Hothorn 论文(我建议阅读)中的广义加法模型只是一种说法,我们可以在模型中添加更多线性项(例如,用于 Adaboost)以提高算法性能。这只是线性项的算术加法,因此忽略了项之间的协方差、相互依赖或交互。这有其局限性,因为概率密度在相互作用时通过卷积相加,而不是算术加法。

Boosting是一种机器学习集成元算法,主要用于减少监督学习中的偏差和方差,以及将弱学习器转换为强学习器的一系列机器学习算法。Boosting 基于 Kearns 和 Valiant (1988, 1989) 提出的问题“一组弱学习器可以创建一个强学习器吗?” 弱学习器被定义为与真实分类仅略微相关的分类器(它可以比随机猜测更好地标记示例)。相比之下,强学习器是与真实分类任意良好相关的分类器。数学方面,这看起来像是分类器的权重,其中 AdaBoost 是最著名的,其他集成技术是随机森林和 bagging。