PAC学习的定义大致是
一个算法是一个 PAC 学习算法,如果它给定足够的数据,对于任何目标函数,它在给定它能够表示的函数的情况下尽可能地渐近地做。
这个定义似乎有点野心。实际上,我更关心在绝对意义上很好地逼近目标函数,而不仅仅是逼近它以及我的假设类可以召集。根据某种无免费午餐原则,可能不可能对所有目标函数都这样做,因此我们需要对在一类目标函数上学习良好的算法感到满意。如果我要尝试定义“学习”的概念,它看起来像这样:
算法学习一个类中的随机变量如果对任何,那么对于任何,给定足够的独立同分布样本,算法返回一个函数这样.
一类如果存在学习它的算法,则随机变量的数量是可学习的。
我有两个问题:
- 为什么要强调获得近似假设类的良好界限,而不是目标函数/分布,而我们确实关心的是后者?
- 像我的定义这样的东西也被研究过吗?