为什么这些正确的内核以及如何推断它们是正确的?

机器算法验证 机器学习 内核技巧
2022-03-23 11:27:04

我正在努力理解内核以及如何确定它们是否正确。

对于这些例子,任何人都可以解释为什么一个例子是正确的,为什么另一个例子不是。

给定两个正确的核,确定以下哪个公式定义了正确的核:K1K2

K4(x1,x2)=K1(x1,x2)2K2(x1,x2)K3(x1,x2)=K2(x1,x2)+3K1(x1,x2)K5(x1,x2)=15K1(x1,x2)

我对您如何获得答案特别感兴趣,而不是说明哪些是正确的,哪些不是。

2个回答

在机器学习上下文(即“核方法”)中,核的关键要求是它必须是对称的和正定的,也就是说,如果是核矩阵,对于适当的长度,必须是正实数。这种限制主要是由于在该矩阵下游操作的优化过程的要求。KxxTKx

为了回答您的问题,某些基本操作保留了正定性,而有些则没有。您可以使用上述正定性的定义来决定操作是否保留该属性。乘积运算并不总是保持正定性(它确实在它们的乘积是可交换的情况下保持正定性)。然而,平方运算确实保留了它。对于实数是正定的,任何两个正定矩阵的和也是正定的。rrK

因此,在您的示例中,可能是也可能不是正确的内核矩阵(使用您的术语),而绝对是正确的内核矩阵。K3K4K5

一种简单的方法是将核函数视为半正定 (PSD) 矩阵。然后你可以使用PSD技巧。

例如,如果K是 PSD,那么K是 NSD,因此不是 PSD。另一方面,如果K是PSD,cK是 PSD 如果c是一个标量并且c>0. 因此,K4K3通常不是内核和K5是。