我想在 Keras（优化器 Adam）中训练一个 CNN，并在每个 ConvLayer 之后和每个激活层之前使用批量标准化。到目前为止，我主要看到的示例是使用 32 或 64 个样本的批量进行训练。是否应该确保每个 epoch 中的最后一批仍然包含 32 或 64 个样本，而不是明显更少的样本？我的意思是，如果我有 500 个训练样本进行训练，那么 50 的批量大小不会比 32 或 64 个样本的批量大小更好吗？
批量标准化时使用哪个批量大小？
数据挖掘
美国有线电视新闻网
批量标准化
小批量梯度下降
2022-02-17 15:33:45
1个回答
训练大小不能被批量大小整除的事实并不重要（主要）
批量训练的主要原因是它需要更少的内存。由于您使用更少的样本训练网络，因此整个训练过程需要更少的内存和速度。通常，使用小批量的网络训练速度更快。那是因为我们在每次传播后更新权重。
您在最后一次迭代中留下的内容将被传播，即使它不可分割。