机器算法验证 - 这个类似感知器的分类器叫什么名字？ - 吾爱随笔录

这个类似感知器的分类器叫什么名字？

机器算法验证机器学习分类神经网络术语

2022-04-08 06:32:45

我想找到一种适用于不可分离数据的感知器变体，所以我尝试使用而不是硬阈值函数并找到一个最小化函数其中是训练样本的类别，是特征。我通过使用“批量”梯度下降来最小化它，它似乎工作得很好，给了我想要的东西。 $f(x)=\mathrm{\tanh}(x)$ $w$

\frac{1}{2} \sum_{i} (y_{i} - f (w \cdot x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(w \cdot x_i))^2$

y_{i} \in {- 1, 1}

$y_i \in \{-1,1\}$

x_{i}

$x_i$

我的问题是：这和Adaline一样吗？我找到了一些对 Adaline 的引用，但我不知道 Adaline 是指分类器本身，还是用于训练它的算法，甚至是最初实现该算法的物理机器（顺便说一下，我是同样对“感知器”的使用感到困惑）。我是否有理由说我正在使用 Adaline？

2个回答

ADALINE（自适应线性神经元）这个名称既来自早期分类器的物理实现，又是名称特定的设计。

见：http ://en.wikipedia.org/wiki/ADALINE

显然 McCulloch-Pitts 感知器首先出现。ADALINE 是一种使用线性响应函数的变体，而不是重载步骤。ADALINE 使用梯度下降拟合，因为它的输出是权重和输入的点积，有效地具有线性传递函数。最初的 McCulloch-Pitts 神经元有一个重量级的阶跃传递函数，因此不能使用梯度下降（我在原来的答案中把这个弄错了）。更一般的人工神经元应用任何传递函数，因此，如果可微分，可以拟合梯度下降。

至于“对感知器的使用同样感到困惑”，那么感知器实际上只是一个线性分类器。感知器与其他分类器（如逻辑回归等）之间的主要区别在于它们是使用在线算法“训练”的——也就是说，您一次可以给它们一个数据点。您为其提供的每个输入/响应对都会更新权重，并应使其成为更好的分类器。在早期，感知器和逻辑回归（以及其他分类器）之间的联系并不清楚，但现在可以理解它们做同样的事情，如果你愿意，你可以一次“训练”逻辑回归。现在通常将感知器作为更大的神经网络或多层感知器的元素进行讨论。

为了安全起见，我建议您将模型称为人工神经元。它不是 ADALINE，也不是原始的 McCulloch-Pitts；它可能是一个感知器，但最好将其称为人工神经元。

顺便说一句， D. MacKay 的Information Theory, Inference and Learning Algorithms几乎完全以您的情况为例（第 39 章），并简单地将其称为“单神经元”。

您所描述的本质上只是逻辑回归，使用平方损失而不是通常的对数损失进行缩放输出。请注意 $\tanh(x) = 2\sigma(x) - 1$ 在哪里

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

是逻辑函数。决策边界仍然是线性的。

其它你可能感兴趣的问题

上一篇线性混合效应模型的似然比检验下一篇在回归中使用 Anselin Local Moran 的 I 值