机器算法验证 - 贝叶斯重要性抽样作为对瓦瑟曼“悖论”的回答 - 吾爱随笔录

在他的书和他的博客中，拉里·瓦瑟曼（Larry Wasserman）都讨论了一个例子，其中贝叶斯方法的天真应用给出了荒谬的答案。

介绍

问题是估计归一化 $c$ 非归一化概率分布的： $g(x)$ . 目标值 $c$ 是（谁）给的：

c = \int g (x)

$c = \int g(x)$

公关。Wasserman 表明，朴素贝叶斯估计 $c$ 给出愚蠢的结果。我让你看看他的博客。他提出了一个悬而未决的问题，即构造 c 的贝叶斯估计量

之前在 SE 上讨论过这个问题，答案主要是这是一个愚蠢的例子，没有理由对这个问题进行贝叶斯推理。但无论如何，让我尝试一下：

要构建贝叶斯估计器，我们首先看看有哪些常规方法可用。一种估计方法 $c$ 是拒绝抽样：我们从第二个简单的概率分布中生成样本 $q(x)$ . 注意到这些样本 $x_k$ ，然后我们计算比率的经验平均值： $\frac{g(x)}{q(x)}$ 并获得一个无偏估计 $c$ ：

\hat{c} = \frac{1}{n} \sum_{k = 1}^{n} \frac{g (x_{k})}{q (x_{k})}

$\hat{c} = \frac{1}{n} \sum_{k=1}^n \frac{g(x_k)}{q(x_k)}$

现在，这可能是愚蠢的，但为什么我们不能，至少在理论上，构造一个贝叶斯估计器，将序列作为数据 $\frac{g(x_k)}{q(x_k)}$ 并试图建立一个后验 $c$ 给定那些？

例如，如果我们碰巧在一个我们知道比率的情况下 $\frac{g(x)}{q(x)}$ 是有界的，我们可以将观察结果建模为 beta 分布的结果，并进行共轭推理。如果我们没有上限，我们可以将观察结果建模为 Gamma。我们甚至可以使用具有非共轭先验和/或复杂先验的可能性。

我的问题是：