使用数据进行逻辑回归时$D_N = \{(x_i, y_i)\}_i^N$和$x_i \in \mathbf{X}^N$（每个数据点有 N 个特征）和$y_i \in \mathbf{Y}$被分配输出类，在贝叶斯框架中，我们将先验分布分配给模型参数$\theta$, 计算后验

$p(\theta|D_N) \approx p(\theta) L(y|x,\theta)$

然后从后面采样$\theta$生成对输出类的预测$y^*$新的观察$x^*$给定基于数据训练的模型$D_N$使用后验预测分布

$p(y^*|x^*,D_N) = \int p(y^*|x^*,\theta) p(\theta | D_N) d \theta$.

我想知道如何在输出类中加入先验信念$y$给定$x$影响预测分布。

到目前为止，我们只讨论在模型参数上设置先验。但我更经常可以使用数据特征和输出类之间的相关性（例如，我关于人的输入数据$x$有一个特征“学术学位”，我对输出类“富裕”与“无家可归”有先验）。

我知道这些先验取决于我的数据特征，所以我要么必须选择一些，要么平均它们。但总的来说，我缺乏这个词$p(y|x)$独立于模型参数$\theta$.

包含这个的正确贝叶斯方法是什么？

到目前为止，我已经看到了一些包含输出类的先验信息的方法：

1）进入监督学习中训练算法的超参数。这主要是通过引入关于类的整体频率的先验知识，进行某种上采样或样本加权以解决类不平衡的方式。

2）导入模型的参数。我不太确定这是如何完成的，但我怀疑先前的预测分布已经过校准，使其类似于观察数据之前类的预期输出。这显然类似于经验贝叶斯方法：将我们先前关于数据的证据转换为参数先验，以使先验预测分布类似于我们的信念。

然而，这些都是间接的方式。必须有替代方法，将先前先验概率分布/分数的分数包含到分类器的输出中。