逆问题中的目标函数缩放

计算科学 优化 逆问题
2021-12-14 09:25:30

我正在尝试使用贝叶斯公式解决大规模逆问题。为了估计最大后验估计(MAP)解决方案,我必须最小化以下目标函数:

F(m)=Fd+Fprior=(f(m)d)T(f(m)d)σ2+(mmprior)T(mmprior)α2

其中 d 是观察到的数据,并且σ是不确定性d.m是优化参数,α代表对先验的信心。

在当前的问题设置中,数据点的数量,d, 是O(n)而参数的数量,m, 是O(n2). 其他一切都是无量纲的,因此 f(m) 的数量级与 m 相同。这导致目标函数本质上偏向于前项(Fprior), 除非σ<<α,进一步导致收敛性差Fd在优化过程中。

在这种情况下,我可以扩展FdFprior通过它们包含的术语数量?据我了解,这种缩放将改变对σα.

请注意,我得到更好的“匹配”f(m)d没有前项。但是我需要包括先验才能获得后验解决方案的界限。

3个回答

首先,免责声明:我将在贝叶斯逆问题的背景下具体回答,而不是更广泛的贝叶斯推理统计理论(在某些时候往往会演变为哲学......)

其次,一般点:如果您只计算 MAP 估计值而不试图从后验分布中提取高阶矩,那么贝叶斯和经典逆问题之间唯一(有意义的)区别在于建模,即差异和正则化项(包括它们的缩放)。坦率地说:如果您正在计算 MAP 估计值并且您没有进行贝叶斯建模(即基于客观统计考虑),那么您所做的就是将标签“差异项”和“正则化项”与分别是“可能性”和“先验”。

由于您没有详细说明您的目标来自哪里,我看到了三种可能性:

  1. 您的建模基于适当的统计考虑,即您(从某处)知道数据di独立同正态分布,均值f(m)i和方差σ2,并且在没有任何进一步信息的情况下,您会期望mj也独立同正态分布,均值mprior,j和方差α2. 在这种情况下,您当前正在观察并且不确定的缩放实际上是正确的缩放:贝叶斯理论告诉您,在这种情况下,您需要对先验给予非常强的权重。(类似于 Brian Borchers 告诉你的。)

  2. 您的建模基于不恰当的统计考虑。最常见的情况是您的问题来自偏微分方程中参数识别问题的离散化。在这种情况下,您的模型会告诉您,例如,未知参数函数随方差呈正态分布α2,但这并不一定意味着离散参数向量的条目是。如果你考虑向量m作为给定基的未知膨胀系数{ϕi}分段线性函数(如在标准有限元离散化中)和相应的离散参数函数 mh:=imiϕi随方差正态分布α2,您的可能性项实际上是α2(mhmp)TMh(mhmp), 在哪里Mh是通常的质量矩阵。(对于似然性也是如此。)现在,由于离散化,质量矩阵已经考虑了这两个项的不同比例,您可以使用模型给出的相同参数。您可以在http://www.siltanen-research.net/LassasSaksmanSiltanen.pdfGeorg Stadler的著作中找到有关贝叶斯逆问题离散化的讨论

  3. 您选择的可能性和先验(包括σα) 实际上不是基于坚定的先验知识,而是选择的特设。(并不是说这有什么问题——逆问题中的人们多年来一直在这样做,而不会为此感到羞耻。)那么贝叶斯框架剩下的就是对术语的解释,但是由于没有外部客观信息与此相关,它(从数学的角度来看)毫无意义。但这意味着您可以自由缩放参数(或者更确切地说,比率σ/α,因为这就是这里的全部)根据你的喜好,没有人能告诉你你错了。尽管如此,确保您的差异和正则化项与离散化无关始终是一种很好的做法,因此您可以更改离散化而不必再次摆弄参数。然后,您还可以将参数视为附加的未知变量,并借助所谓的超先验将其包含在贝叶斯公式中。

假设它是 2. 或 3.,因此答案是肯定的,你可以,你应该。(这也将有助于解释,因为否则您将置信度/噪声协方差与纯数字缩放混合在一起。)

改变这两个词的相对权重相当于改变你的先验。

这里的基本问题是,您遇到的问题是要估计的参数比数据点多得多。您将需要使用相当强的先验来获得拟合参数的严格界限,并且该先验的选择将对您的解决方案产生很大影响。.

作为旁注,缩放参数的物理尺寸σ,α是不同的。所以形式的声明σα正如您的问题所给出的没有任何意义:3公斤的苹果比5微米的纱线少得多还是多得多?

除了之前其他人给出的参考资料之外,我还要推荐 Somersalo 和 Kaipio 的《Statistical Inverse Problems》一书。它还包含许多关于逆问题实用性的讨论。