关于使用公式P ( Y| X)P(Y|X)计算E [ X]E[X]

机器算法验证 贝叶斯 条件概率 图形模型 贝叶斯网络
2022-03-23 22:46:00

在阅读有关“期望传播”的演示文稿时,我发现了一个从条件概率计算E[X]

E[X]=xP(yi|x)dxP(yi|x)dx

有人可以解释一下这个公式是如何得出的吗?来源是上面链接的演示文稿中的幻灯片 24。

2个回答

E[X]=xP(yix)dxP(yix)dx

不是一般的陈述,而只是期望传播(EP)的第一步。EP 试图逼近后验分布P(xD)使用关节的给定分解,

P(x)iP(yix).

为了减少混乱,对数据的依赖D={y1,...,yn}在符号中经常被删除。而不是后验分布,实际上可能不那么令人困惑,只考虑近似任何未归一化密度由下式给出的分布

ϕ0(x)iϕi(x).

真实分布的第一时刻将是

E[X]=xP(x)dx=xϕ0(x)iϕi(x)dxϕ0(x)iϕi(x)dx.

EP 的工作原理是使用其中一个因子迭代地细化分布,并通过仅保留一些矩来近似分布。

那张幻灯片上的公式是一个稻草人,没有任何意义。关键是矩匹配对孤立的个体似然项没有意义。这将在下一张幻灯片中进一步说明。我实际上已经在论文中看到了这种糟糕的方法,所以我认为值得指出。这是“你必须在那里”的情况之一。