如果一个神经网络要查找的神经元参数数量有限，比如说只有 1000 个参数，那么通常最好将参数用于权重或神经元偏差？
例如，如果每个神经元有 2 个权重和一个偏差，则每个神经元使用 3 个参数，因此只有 333 个神经元可用。
但是如果每个神经元不使用偏置参数，那么 500 个神经元可以使用 1000 个参数。
我担心使用太多参数会过度拟合，所以我想尽量减少参数的数量，同时最大限度地提高结果的质量。
将参数花在权重或偏差上更好吗？
人工智能
神经网络
权重
2021-11-16 10:46:43
1个回答
首先，你的估计有点偏离。如果你有 300 个神经元，那么每个神经元不会只有 2 个权重，而是更多，假设完全连接
偏差不仅仅是一个额外的拟合参数，它是一个重要的可调节参数，用于设置每个神经元表示的分离超平面的偏移量。想想简单的等式，除非您使用（偏差）部分。
这对于少量节点和分类任务（想想感知器等）尤其重要