“遗憾”作为一个适用于在线机器学习的术语，很容易做出直观的解释。

最小化（或者，优化）“遗憾”只是减少采取的行动的数量，事后看来，显然有更好的选择。通过最小化遗憾，我们正在最小化算法的次优动作。

根据在线机器学习算法的应用，可以优化许多其他测量。

您可能感兴趣的几篇具体论文深入讨论了该主题：

学习、后悔最小化和平衡- A. Blum 和 Y. Mansour

机器学习优化- Hazan

在线学习和在线凸优化- Shalev-Shwartz