您正在寻找的东西称为知识蒸馏，这意味着通常通过称为教师-学生的训练范式来学习大型模型和较小模型的行为。

这很简单。想象一下，您有一个巨大的模型，您可以通过任何方式对其进行训练。该模型可以以应有的方式为您预测输入。现在你想把这个巨大的模型缩小为一个更小的模型。

您可以将数据提供给该模型并获取所有输出。那么这对$(x, y)$s 可以用作“标签数据”来训练较小的模型（对吗？）。

解释很简单，因为我觉得它很清楚（特别是如果你有 ML 的背景）。如果不是，请发表评论，以便我用 Python 中的真实演示更新我的答案。