任何人都可以指出 ImageNet 上人类水平的表现来自哪里?
我从这里找到了 5.1% 准确率(top-1?或 top-5?)的参考。
任何人都可以指出 ImageNet 上人类水平的表现来自哪里?
我从这里找到了 5.1% 准确率(top-1?或 top-5?)的参考。
它来自这篇论文:https ://arxiv.org/abs/1409.0575
O. Russakovsky “ImageNet 大规模视觉识别挑战赛” 2014
TL;DR:前 5 名分类错误为 5.1%(专家 #1),但乐观为 2.4%。
在 Russakovsky 等人的论文ImageNet 大规模视觉识别挑战中。(2014 年),有一节他们估计了 ILSVRC 的人类分类误差(第 6.4.1 节 Quantitative comparison of human and computer accuracy on large-scale image classification)。
他们使用了两名人类专家对测试集中的图像进行注释。第一个注释器 (A1) 评估了 1500 张图像,并获得了 5.1% 的 top-5 分类错误(“训练”了 500 张图像)。然后,第二个注释器 (A2) 评估了 258 个图像,前 5 个分类错误为 12.0%(“训练”了 100 个图像)。
此外,作者将“乐观”人类注释器的错误率近似为 2.4%(top-5)。
ps.:当有上千个可能的类别时,人类对图像进行分类并不是一件容易的事。除此之外,必须考虑到某些图像的类之间存在相当大的重叠。在这里自己试试