图文分布差异

数据挖掘 分配 文本 特征 图片
2022-02-26 05:40:58

曾经我读过图像字幕的任务,深度网络从图像和文本中提取的特征来自两个不同的世界,并且分布不同。我的问题是其中两个的分布情况如何,它们有何不同?

1个回答

假设您在不同的数据集上训练了两个相同的神经网络。网络 A 使用猫图片数据集进行训练。网络 B 使用交通标志图像数据集进行训练。因为这两个网络是相同的,它们显然会在同一个空间产生一个特征图,对吧?但是这两个网络在该空间中的特征分布会有所不同,因为它们是在不同的数据集上训练的,并且您需要不同的特征提取器来识别猫和交通标志。

这类似于您阅读的有关文本/图像功能的内容。假设我们训练一个网络将图像数据嵌入到某个 N 维空间中,然后我们训练另一个网络将文本数据嵌入到相同的 N 维空间中。尽管生成的特征向量在同一个空间中,但几乎可以肯定它们具有不同的分布,因为它们是使用不同的数据集进行训练的。

不幸的是,我们无法给出关于分布是如何形成的以及究竟有什么差异的一般性答案。这些细节会因情况而异。尽管在我们掌握这些分布之前,我们可能无法确切知道它们的不同之处,但我们可以确信它们实际上会有很大的差异。