是的，采样相同大小的数据集（有替换），然后找到你的 AUC，比如 10,000 次。然后，您将拥有 10,000 个不同的 AUC，这将使您了解您对 AUC 结果的信心。

当您进行替换抽样时，您只会发现新的自举数据集中大约 63% 的条目是唯一的（其中许多在自举数据集中将有 2 个以上相同的条目。每次制作新的自举样本时，唯一的 63% 会发生变化，一条记录在自举样本中重复的次数也会发生变化。这有助于提取有关数据自然可变性的一些信息。

回顾一下，如果您有 50,000 条记录，这意味着 50,000 个概率/值和 50,000 个类别标签：

1) 样品 1:50,000 更换。您应该在这个新样本中找到大约 31,500 条唯一记录。

2）计算AUC

3) 重复步骤 1 和 2，10,000 次（等待计算时间，我会拍摄至少 1000 次），并保存这 10,000 个 AUCS。

4) 现在你有 10,000 个 AUC。如果您采用第 5 个百分位和第 95 个百分位，则您拥有自举的 95% 置信区间。这里最大的好处是你现在可以取这 10,000 个 AUC 的平均值，并给出标准误差$(sd/sqrt(n))$给出一些关于可变性的想法。

而不是仅仅对你的全部数据进行一次 AUC 计算并说 AUC 是$.77$，您最终可能会发现您的 AUC 为$.75 +/- .03$, 提出索赔要可靠得多。现在事后看来，您可以看到您的单一 AUC 测量值有点乐观。

我认为与数据集大小相同的采样那么您的 AUC 值将不会一直相同。根据我的理解，您可能会误解带替换的示例。即使您的样本大小与数据大小 n 相同（我们只讨论了 OOB），这意味着您每次选择 1 个案例并将其返回并重复 n 次以获得整个采样的 n 个样本。然后你可以对 x 个副本重复这个过程。通过这个过程，即使您的样本量与数据量相同，您也不会在每次采样中获得与数据集相同的项目。

两个问题：

1、大约50000个条目是指50000个测试数据吗？你还有其他数据可以训练和微调模型，对吗？

2、如果数据集超过 50000 个条目，您将数据集拆分为训练、验证和测试数据集（50000 个条目）。如果随机拆分，每次的AUC结果应该都不一样，那么我们如何在ONE TIME Classification结果上使用bootstrap方法来计算95% CI AUC呢？