我正在尝试在数据集上拟合 DL 模型,经过一段时间的参数调整,我已经确定了最佳时期数。现在假设有新数据可用,我想将它们包括在内以重新训练模型,我是否需要将 epoch 的数量设置为完全相同,或者让它更小,以便我有相同数量的梯度更新?两者对我来说似乎都有意义,但我不确定哪个通常会更好。
我知道更好的方法是使用训练测试拆分来确定最佳时期,但由于数据非常有限,如果可能的话,我不希望保留任何数据。
任何想法或建议将不胜感激,谢谢!
我正在尝试在数据集上拟合 DL 模型,经过一段时间的参数调整,我已经确定了最佳时期数。现在假设有新数据可用,我想将它们包括在内以重新训练模型,我是否需要将 epoch 的数量设置为完全相同,或者让它更小,以便我有相同数量的梯度更新?两者对我来说似乎都有意义,但我不确定哪个通常会更好。
我知道更好的方法是使用训练测试拆分来确定最佳时期,但由于数据非常有限,如果可能的话,我不希望保留任何数据。
任何想法或建议将不胜感激,谢谢!
更多的数据可能会导致找到最佳模型所需的更多时期。达到最小损失的时期数将根据您的超参数、数据集和初始权重而有所不同。我会摆脱试图找到所需的确切时期数的心态。如果损失在一定长度的时期后收敛,大多数流行的深度学习库将允许您停止训练。此外,如果您过拟合,您可以创建一个回调函数来仅保存最佳模型。