使用 NVIDIA GEFORCE 930M GPU 处理 500GB 图像需要多少时间

数据挖掘 机器学习 神经网络 深度学习 硬件
2022-02-14 22:04:32

我有一个大小为 500GiB 的图像数据集,我的系统规格是 NVIDIA GEFORCE 930M、12GB RAM 和 Intel Core i5。

我有以下问题:

  1. 有可能在我的本地机器上使用这么大的数据集吗?
  2. 如果是,一个 epoch 或等效的迭代需要多少时间?任何有关如何计算所需处理时间的链接或参考都会有所帮助。
  3. 如果我的系统不好,我还有哪些其他可能的解决方案?
1个回答

深度学习和大数据项目可以接受大量数据。你的系统也是可以接受的,虽然它不是很强大。如果你有足够的硬盘来存储它们,这就足够了,这意味着你可以训练你的网络。每个时期的经过时间取决于多个方面。例如,一些重要的元素是批量大小和矢量化实现、磁盘和 RAM 之间的瓶颈、RAM 和 GPU 之间的瓶颈、模型的大小、训练数据的大小、内存大小GPU 的大小以及 RAM 的大小、每个数据的大小、操作系统对 GPU 施加的负载等等。最简单的方法是编写网络代码并自己尝试。

正如我所提到的,通过当前设置,您可以训练您的网络,但您的计算速度可能不是很快。但是,您可以使用一些技巧来尽可能地促进您的训练阶段。例如,您有两个主要瓶颈。第一个瓶颈存在于磁盘和 RAM 之间,可以使用生成器来处理。也就是说,您可以使用生成器来减少磁盘调用的数量。RAM 和 GPU 之间的另一个瓶颈可以使用神经网络的矢量化实现来处理。加载网络后,您可以找到合适的批量大小以使用所有可用的 GPU 内存。

我还想指出,您当前使用的 GPU 可能有空间限制。当您的网络非常大时,这可能会带来困难。在这种情况下,您将无法将整个网络加载到 GPU。