我知道类似的问题已经被问过很多次了，但我找不到这个问题的答案，至少不是以一种让我满意的方式。
我对如何使用验证集感到非常困惑。我知道它们用于执行超参数扫描，但我不太确定以何种方式。例如，假设我试图在具有 1 个隐藏层和具有 2 个隐藏层的神经网络之间做出决定，并且我的数据有 50/25/25 的训练/验证/测试拆分。由于我的问题所固有的原因，我不会执行 k-fold CV。
我应该在训练期间使用验证集（以防止过度拟合）并在事后使用相同的验证集（在模型完全训练后）来确定哪个模型更好？我什么时候使用验证集来比较模型？
然后，一旦我到达测试集，我就知道我应该一起训练训练数据和验证集。但是，在最终模型的训练过程中，我是否应该将验证集与训练集分开，以防止过度拟合？为什么我要在单个模型的训练期间使用单独的验证集来防止过度拟合，而不是在最终模型上用于该目的（并使其成为更多的训练数据）？
让我们退后一步，看看我们为什么要进行这些拆分：
模型选择：估计不同模型的性能以选择最好的模型。
模型评估：选择最终模型，估计其对新数据的预测误差（泛化误差）。
（来源：“统计学习的要素 - 数据挖掘、推理和预测”，Hastie 等人）
对于模型选择，您使用验证集，对于模型评估，您使用测试集。
因此，一个直接的方法是这样的：
下面是一个 SVM 示例，取自 Mueller 和 Guido 的“Python 机器学习简介”：
from sklearn.svm import SVC
# split data into train+validation set and test set
X_trainval, X_test, y_trainval, y_test = train_test_split(
iris.data, iris.target, random_state=0)
# split train+validation set into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(
X_trainval, y_trainval, random_state=1)
print("Size of training set: {} size of validation set: {} size of test set:"
" {}\n".format(X_train.shape[0], X_valid.shape[0], X_test.shape[0]))
best_score = 0
for gamma in [0.001, 0.01, 0.1, 1, 10, 100]:
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
# for each combination of parameters, train an SVC
svm = SVC(gamma=gamma, C=C)
svm.fit(X_train, y_train)
# evaluate the SVC on the test set
score = svm.score(X_valid, y_valid)
# if we got a better score, store the score and parameters
if score > best_score:
best_score = score
best_parameters = {'C': C, 'gamma': gamma}
# rebuild a model on the combined training and validation set,
# and evaluate it on the test set
svm = SVC(**best_parameters)
svm.fit(X_trainval, y_trainval)
test_score = svm.score(X_test, y_test)
print("Best score on validation set: {:.2f}".format(best_score))
print("Best parameters: ", best_parameters)
print("Test set score with best parameters: {:.2f}".format(test_score))