有没有一种原则方法可以使用测试分布来估计分类器的方差？

是的，与您的直觉相反，通过交叉验证实际上很容易做到这一点。这个想法是迭代/重复交叉验证（或者如果您更喜欢用替换重新采样，则为袋外验证）允许您比较相同测试用例的略有不同“代理”模型的性能，从而分离由于模型不稳定性引起的方差（训练）来自由于有限数量的测试用例（测试）引起的方差。

参见例如Beleites, C. & Salzer, R.：Assessing and Improvement the stability ofchemometric models in small sample size situation, Anal Bioanal Chem, 390, 1261-1271 (2008)。DOI: 10.1007/s00216-007-1818-6

正如@RyanBressler 指出的那样，有一篇关于交叉验证的Bengio 论文从根本上低估了模型的方差。这种低估发生在假设重新采样是对新的独立样本的良好近似（显然不是）的假设上。如果您想比较某种类型的分类器对某种类型的数据的一般性能，这一点很重要，但在我们谈论从给定训练的分类器的性能的应用场景中却不是数据。还要注意，将这种“应用”测试方差分离为不稳定性和测试方差使用了一种非常不同的重采样视图：这里的代理模型被视为在整个给定训练数据上训练的模型的近似值或略微扰动的版本——这应该是一个更好的近似值。

方法 A 和方法 B 各自在测试集上实现的性能几乎相同。但是，我担心这仅仅是由于两种方法的差异，如果我可以对更多的训练和测试集进行采样，平均而言，方法 A 可能会更好。

这是很有可能的。我建议您检查 2 个方差来源（不稳定性，即训练和测试不确定性）中的哪一个是较大的方差来源，并专注于减少这种情况。

我认为ROC/AUC 分析的样本量计算讨论了有限测试样本量对 AUC 估计的影响。

但是，对于相同数据上的两个分类器的性能比较，我建议使用像 McNemar's 这样的配对测试：为了找出是否（或哪个）分类器更好，您可以专注于由错误预测的一个分类器进行的正确分类另一个。这些数字是二项式分布允许您计算方差的测试用例的一部分。

您需要某种引导程序或方法来生成独立的性能测量。

您不能查看 k 个交叉验证折叠或将测试集划分为 k 个分区，因为观察结果不是独立的。这可以并且将在方差估计中引入显着偏差。例如，参见Yoshua Bengio 的“K 折交叉验证方差的无偏估计”

在 CV 折叠上查看最佳和最差情况的性能甚至都不是真的有效，因为它们并不是真正独立的平局……有些折叠只会有更差或更好的性能。

您可以对性能进行袋外估计，基本上重复引导训练数据集并获得其余数据的性能。请参阅 Breiman 的这篇文章和 Tibshirani 引用的早期工作，以这种方式估计性能差异

如果这在计算上是令人望而却步的，因为您有大量数据，我想知道引导或以其他方式仅对保留集进行重新采样，但我想不出或找到该副手的参考。