如果知道哪些特定特征相互依赖，或者特征很少，则非朴素贝叶斯分类器是可行的。在任何其他情况下，指数级的依赖关系需要大量的实例，以使分类器不会过拟合。

朴素贝叶斯中的独立性假设使分类器能够泛化。分类器的目标不是收集数据中所有可能的细节，而是在过度简化数据（欠拟合）和不够简化（过度拟合）之间找到适当的平衡。