我从数学上理解深度学习有不止一个隐藏层,而常规机器学习只有一个。是对的吗?如果是这样,为什么以及如何更好地拥有多个层,从而使深度学习比机器学习更具优势?
为什么深度学习中层数越多越好?
数据挖掘
深度学习
2022-03-10 10:15:03
1个回答
您可以将神经网络(无论多么深)视为理想函数的近似值。可用的层/节点越多,神经网络就越能成功逼近理想函数。有一个定理说明了这一点。
假设您必须识别图片中的人脸:至少有一个(理想的和纯假设的)数学函数能够完成这项工作。比,神经网络可以或多或少精确地逼近该数学函数。
现在:如果你拥有世界上所有可能存在的图片的集合(所谓的完整集),你可以选择任何数量的层和节点,无论配置如何,你永远不会陷入过拟合的情况。相反,可用的层/节点越多,您的网络性能就越好。但是在这个有限的现实世界中,你只能得到那个主要集合的一小部分。
因此,您必须在给定配置的情况下选择最佳的层数和节点数,以避免陷入过度拟合的情况。您拥有的数据样本越多,您可以将更多的层和节点添加到配置中,从而获得更好的性能,即神经网络可以更好地逼近上面介绍的(理想和纯假设的)数学函数。