为什么使用深度学习的超分辨率会击败老派技术?

信息处理 超分辨率 超级采样
2022-01-30 11:58:42

我假设标准/老式超分辨率技术使用多项式插值上采样方法。为什么深度神经网络会取得更好的结果?

2个回答

目标是从低分辨率图像中导出更高分辨率的图像。在执行这种上采样时,不可避免地,您必须填写您没有的信息。

这两种方法之间的区别在于您如何填写该信息。

在标准技术中,假设了一个基础模型。因此,例如,在最近邻插值中,我们决定用最近像素的值填充未知像素。对此的改进是线性插值,我们推导出未知像素周围的像素值的加权和来设置其值。对此的改进是样条和三次插值,它们试图从未知像素周围更大的已知像素块中导出未知像素的值。

在所有这些情况下,我们假设填充像素值的模型基于物理(例如,由于点扩散函数)或假设。

但是,如何从图像本身导出限制像素值的“模型”,然后使用模型和有限的已知数据来猜测未知像素?我们不是任意决定一个插值,而是推导出它。

这是一个优化问题,我们试图发现连接低分辨率和高分辨率图像版本的函数。为此,您显然需要高分辨率和低分辨率图像。但是你可以做的是拍摄(已知的)高分辨率图像,降低它们的分辨率(降低它们的分辨率)并锻炼高分辨率和低分辨率之间的关系。

这里令人惊讶的结果是,描绘不同内容的图像最终具有非常相似的插值。当然,内容确实发挥了作用,如果您从一组具有特定带宽的图像中派生模型,您将发现支持特定带宽的模型。您无法在具有大量低频内容的平滑变化图像上训练模型,并期望它重建未知图像的高对比度高细节部分。

因此,该技术更适用于图像类别,到目前为止,它已应用于医学成像(当然还有磁共振成像,其中从有限数据重建的历史悠久)和射电天文学

有关更多信息,您可能希望查看thisthis

希望这可以帮助。

在超分辨率问题中,目标是根据多次观察或预测找到子像素值。如果我们知道黑色、红色、蓝色和黄色像素的值,那么即使猜到中间像素也绝对无法知道,如果我们知道没有任何先验知识。它们只是网格上的四个随机值,它们之间可能有也可能没有任何关系。

在此处输入图像描述

为了扩展我的知识,价值的预测基于一些假设或先验知识。例如,一个常见的假设是自然图像大多是低通的,并且图像中没有突然的急剧过渡。像素插值工作基于此假设。

如果我们没有模型,那么我们必须训练一个。这就是基于机器学习的超分辨率进入的地方。但是,根据哪些特征来训练它呢?如果我们更仔细地观察,我们会注意到典型图像具有典型特征。伏击的图像总是有一堆树、天空(部分)等等。问题是这些特征是如此多样化,甚至很难找到,因此试图收集所有特征并根据世界上所有类型的图像训练我们的模型是没有希望的。深度神经网络会自动找到与每个主题和图像类别相关联的特征,而不是在呈现图像时,它可以将图像内容与适当的特征相关联。就像,DNN 可能会说啊哈!这张低质量的照片似乎是丛林,所以这些绿色的东西可能是树木,它自己的树或叶子的图像。

我想打个比方。我认为这在某种程度上类似于画家的大脑,比如说自然画家,根据他对场景的记忆所做的事情。由于他以高分辨率近距离观察和探索了许多示例场景,因此他在脑海中形成了一朵花、一堆雪或其他任何东西的非常详细的图像。因此,当他被要求画画时,他会画出一张粗略的图像,然后用他已经看到的细节填充图像元素。