没有物理解释的贝叶斯网络中的潜在变量

机器算法验证 潜变量 贝叶斯网络
2022-04-06 05:34:15

模式识别和机器学习中, Bishop 写了关于贝叶斯网络的文章:

对于概率模型的实际应用,通常是对应于图的终端节点的较高编号的变量代表观察,而较低编号的节点对应于潜在变量。潜在变量的主要作用是允许观察变量上的复杂分布用由更简单(通常是指数族)条件分布构建的模型来表示。

几行之后:

然而,概率模型中的隐藏变量不需要有任何明确的物理解释,而可以简单地引入以允许从更简单的组件构建更复杂的联合分布。

你认为他所说的这种隐藏变量是什么意思(没有物理解释)?
什么可以是一个简单的例子?
我考虑过高斯混合,但它们不对应于我们感兴趣的变量编号较高的情况。

2个回答

对我来说唯一合理的答案似乎是潜在变量是分布的参数,它们是真实变量,而它们没有任何物理解释。
毕晓普总是很精确,很清楚,不知道为什么这次他没有使用“参数”这个词,那会很有启发性。

首先,注意观察变量和潜在变量都有概率分布,参数是固定的。

在 Koller 和 Friedman 的 PGM 教科书中可以找到一个有用的示例(见下文)。请注意,在左侧模型中加入潜在变量 H 会减少整个图形模型的参数空间。可以在没有潜在变量 H 的情况下绘制 I 等价图(如在右侧模型中),但它可能需要比包含潜在变量的模型更多的参数。

在两者之间进行选择是一个建模决策(可以归结为统计与计算的简单性)。左侧模型中的 H 不需要有任何物理表示,但可以在模型中包含或删除它以实现可解释性或问题的其他要求(例如,采样、推理)。也就是说,在确定图的结构时,通常需要进行特定于上下文的权衡。

来自 Koller 和 Friedman 的 PGM 文本

希望这可以帮助!