机器算法验证 - 具有罕见事件的大规模逻辑回归的偏差校正 - 吾爱随笔录

我有一个由许多广告印象组成的大型数据集。我的依赖二进制变量 clicked 描述了广告是否被点击。正如您所料，点击次数比我的数据集中的非点击次数小约 1000 倍。

我正在为这个数据集拟合一个在线逻辑回归，我发现我的预测似乎低估了观察到的点击率

King and Zeng (2002)声称“逻辑回归会严重低估罕见事件的概率”。Firth (1993)提出了一种预防方法，通过使用 Jeffreys Prior 来避免 Logistic 回归中的一阶偏差：

而不是应用通常的梯度：

U (β_{r}) = \sum_{i = 1}^{n} (y_{i} - p_{i}) x_{i r} = 0

$U(\beta_r) = \sum_{i=1}^n (y_i - p_i)x_{ir} = 0$

以下梯度应该纠正一阶偏差：

U^{*} (β_{r}) = \sum_{i = 1}^{n} (y_{i} - p_{i} + h_{i} (\frac{1}{2} - p_{i})) x_{i r} = 0

$U^*(\beta_r) = \sum_{i=1}^n (y_i - p_i + h_i(\frac{1}{2}-p_i))x_{ir} = 0$

在哪里：

$y_i$ 是观察 $i$
$p_i$ 是观察 $i$
$x_{ir}$ 是观察的特征 $r$ $i$
$h_i$ 是个对角元素，其中 $i$ $H=W^{\frac{1}{2}}X(X^TWX)^{-1}X^TW^{\frac{1}{2}}$ $W=diag(p_i(1-p_i))$

Heinze & Schemper (2002)描述的这个公式也被用于在 R 中实现 logistf 包。

可以想象，大型数据集的计算可能非常昂贵。因此我的以下问题： $H$