分布转移与迁移学习

数据挖掘 机器学习 统计数据 迁移学习 分配
2022-03-14 22:42:12

迁移学习(TL) 是机器学习 (ML) 中的一个研究问题,专注于存储在解决一个问题时获得的知识,并将其应用于不同但相关的问题 [ 1 ]

分布转移开发系统的条件将不同于我们使用系统的条件。[ 2 ]

我认为分布偏移和数据集偏移之间没有区别。但是在迁移学习和分布转换之间呢?有什么区别?

我们可以说迁移学习是一种预期的分布转变吗?

2个回答

是的 - 迁移学习和分布转换之间的一个区别是不同数据集的意图和知识。

迁移学习有很多种。有时模型在一个数据集上进行训练,然后在没有额外训练的情况下应用于另一个数据集。当第二个数据集上没有标签时必须是这种情况。其他时候,模型在一个数据集上进行训练,然后在另一个数据集上进行微调。当第二个数据具有标签时,可能会出现这种情况。

实际上,迁移学习有更广泛的定义。它还包括分布偏移(协变量偏移、样本偏差等)。您可以使用已在与测试集具有不同分布的数据集上训练的模型应用 TL 方法。迁移学习还包括标签分布的变化或在不同任务中训练的模型的微调。

请查看以下调查 https://ieeexplore.ieee.org/document/5288526