训练卷积神经网络的最大图像数量

数据挖掘 深度学习 美国有线电视新闻网 大数据
2022-03-08 10:20:05

我只是想知道训练神经网络的图像数量是否存在技术限制。

我想处理大量图像,大约 1,000,000 到 10,000,000 张图像。是不是因为显卡内存有上限?我试图对这个问题进行一些研究,但我主要发现的问题是你需要多少图像才能获得卷积神经网络的体面结果。

谢谢和最好的问候,

贝南多

2个回答

从理论上讲,您可以使用多少数据点来训练任何神经网络是没有限制的。这是真的,因为可以增量训练的神经网络不需要“查看”整个数据集。

显然,如果您的机器能够在内存中存储至少一个图像和网络,这会有所帮助。

要训​​练大量图像,您可能需要使用批处理。这意味着每次迭代都发生在数据的子集上,该子集可以小到单个图像。

任何框架或技术都没有任何 CAP。

这就是组件将受到影响的方式 -

磁盘空间
这将直接受到每个图像的总数和大小的影响

内存
这取决于层的深度、批量大小、内核数和单个图像的大小。请在 SE/Internet 上查看“ CNN 学习期间需要 RAM
这意味着如果上述参数固定,图像数量是 1000 还是 100K 不会有太大变化

训练时间
这将取决于你的硬件和并行度,但你不能做比批量大小更多的事情,因为背景需要在每批之后协调梯度

您必须思考
的问题您的图像是否有如此多的变化。否则学习将在一定的图像计数后停止。如果它在所有图像中都有差异,那么学习将非常缓慢。这意味着训练时间是您唯一可能担心的事情