据我了解，在神经网络中构建多个层的目的是让您可以在深度网络中表示非线性。
例如，这个答案说：“要在对输出进行分类时学习非线性决策边界，需要多个神经元。”
当我观看在线教程等时，我看到了如下屏幕截图中描述的网络。在这种情况下，我看到了一系列线性分类器：
我们有一个乘法、加法、ReLu、乘法和加法，所有这些都是串联的。
通过学习数学，我知道由线性函数组成的复合函数本身就是线性的。
那么，如何从多个线性函数中引入非线性呢？
多个线性神经元如何一起允许神经网络中的非线性？
数据挖掘
神经网络
2022-03-03 00:16:07
1个回答
阶段
"To learn non-linear decision boundaries when classifying the output, multiple neurons are required."
不正确。更准确地说，它应该是：
"To learn non-linear decision boundaries when classifying the output, we need a non-linear activation function."
要理解为什么，假设您有一个包含许多层和节点的网络（您的问题中有多个神经元）。如果您没有 ReLu 或 sigmoid 等非线性激活函数，那么您的网络只是偏差和权重的线性组合。您的网络对于分类非线性决策边界没有用处。但是如果你的输入可以是线性可分的，你就不需要中性网络......
这就是为什么所有中性网络几乎总是具有非线性激活函数的原因。ReLu 是最受欢迎的，但还有其他可能性。当您像在中性网络中一样收集十几个非线性输出时，您的网络将能够对非线性决策边界进行分类。你拥有的越多，它的性能就越好（但也更容易过度拟合）。
其它你可能感兴趣的问题