高斯过程回归和核岭回归（也称为 Tikhonov 正则化）之间存在非常紧密的联系。实际上，您使用贝叶斯推理计算的后验期望与先验和加性噪声模型给出的预测与使用内核获得的预测完全相同内核和正则化参数中的岭回归，即： $\mathcal{GP}(0,k)$$\mathcal{N}(0,\eta^2)$$\mathcal{H}_k$$k$$\eta^2$

$${\arg\!\min}_{f\in\mathcal{H}_k} \sum_{i=1}^n\big(y_i-f(x_i)\big)^2 + \eta^2 \lVert f \rVert^2_{\mathcal{H}_k}\,.$$

请注意，贝叶斯推理还计算后验方差，与核回归的联系不太清楚。

对于 SVR，您会发现两个预测之间存在一些差异，因为最小二乘拟合项被$\epsilon$不敏感的误差函数取代： g_\epsilon(z) = \begin{cases} |z|-\epsilon &\ text{if }|z|\ge \epsilon\,,\\ 0&\text{otherwise.} \end{cases} \epsilon

$$g_\epsilon(z) = \begin{cases} |z|-\epsilon &\text{if }|z|\ge \epsilon\,,\\ 0&\text{otherwise.} \end{cases}$$ 的值直观地控制了解的“稀疏性”。并且使用绝对值而不是平方可能会使解决方案对异常值更加稳健。$\epsilon$

您可以在拉斯穆森和威廉姆斯的著名著作的第 6 章中找到更多详细信息。