如果我的理解是正确的,在图像分类和 NLP 的情况下,如果我有一个预训练的模型来训练新数据,我可以根据预训练的模型重塑数据。因此,即使新数据与之前的数据略有不同,也没有问题。我正在尝试将迁移学习用于回归问题。考虑我训练一个具有 15 个参数和 100 万行的基本模型。我训练一个模型。现在,如果我想将此模型用于类似的问题案例,但我只有 14 个参数,则缺少一个参数。预训练模型是否有用。有没有办法在这种情况下使用迁移学习?
谢谢你。
如果我的理解是正确的,在图像分类和 NLP 的情况下,如果我有一个预训练的模型来训练新数据,我可以根据预训练的模型重塑数据。因此,即使新数据与之前的数据略有不同,也没有问题。我正在尝试将迁移学习用于回归问题。考虑我训练一个具有 15 个参数和 100 万行的基本模型。我训练一个模型。现在,如果我想将此模型用于类似的问题案例,但我只有 14 个参数,则缺少一个参数。预训练模型是否有用。有没有办法在这种情况下使用迁移学习?
谢谢你。
问题是您是否可以为经过训练的模型提供它期望提供良好输出的数据。
在您的示例中,要让模型提供输出,您必须提供 15 个输入。如果您只有 14,您能否为输入 15 设置一个对模型有意义的值?如果特征 15 是一个人的年龄,你能估计一下吗?如果您在 16x16 图像(256 个特征)上训练了一个模型,但现在您的图像是 4x4(16 个特征),您可能只需要提供 256 - 16 = 240 个黑色像素,模型就可以正常工作。或者您可以重新格式化您的数据以将每个像素乘以 4x4 补丁,并以这种方式获得 16x16 图像。
你不能做的是简单地重塑输入,使其宽 15 列。如果您这样做,您提供给模型的第一个示例将包含来自第一个真实示例的 14 个特征,以及来自下一个案例的特征编号 1。这样,模型使用来自两个不同示例的数据进行预测,并且它在输入节点上获得特征 1 的值,它期望值特征 15,并且特征 1 和特征 15 可能具有非常不同的含义。