让我们探索二进制分类的用例。在二元分类中，标签来自伯努利分布。对于每个示例，伯努利分布的可能性是

$p^y*(1-p)^{(1-y)}$.

我们希望最大化整个数据集的可能性，这意味着我们希望最大化所有示例的乘积。

因为我们希望它对优化器方便，所以我们做了两件事：

1. 我们想要一个最小化问题，所以我们最小化负似然而不是最大化似然。 
2. 我们从乘积转换为和（这更容易得到导数）为了做到这一点，我们应用对数变换，它是单调变换，它向我们保证最佳参数将保持不变，即最小化对数似然等效于最小化可能性。 

对数损失是负对数似然。以单个示例的日志为例，我们得到：

$y_i \log(p_i) + (1-y_i) \log (1-p_i)$.

对数损失只是所有示例的负总和。