ImageNet 上的人类水平表现,前 1 名还是前 5 名?

数据挖掘 分类 准确性
2021-10-07 11:51:23

任何人都可以指出 ImageNet 上人类水平的表现来自哪里?

我从这里找到了 5.1% 准确率(top-1?或 top-5?)的参考

2个回答

它来自这篇论文:https ://arxiv.org/abs/1409.0575

O. Russakovsky “ImageNet 大规模视觉识别挑战赛” 2014

TL;DR:前 5 名分类错误为 5.1%(专家 #1),但乐观为 2.4%。


在 Russakovsky 等人的论文ImageNet 大规模视觉识别挑战中。(2014 年),有一节他们估计了 ILSVRC 的人类分类误差(第 6.4.1 节 Quantitative comparison of human and computer accuracy on large-scale image classification)。

他们使用了两名人类专家对测试集中的图像进行注释。第一个注释器 (A1) 评估了 1500 张图像,并获得了 5.1% 的 top-5 分类错误(“训练”了 500 张图像)。然后,第二个注释器 (A2) 评估了 258 个图像,前 5 个分类错误为 12.0%(“训练”了 100 个图像)。

此外,作者将“乐观”人类注释器的错误率近似为 2.4%(top-5)。

ps.:当有上千个可能的类别时,人类对图像进行分类并不是一件容易的事。除此之外,必须考虑到某些图像的类之间存在相当大的重叠。在这里自己试试