我想知道当我们知道真正的排名是什么以及决定排名的变量时,比较(可能排名)的最佳方法是什么。
假设这是某个列表的前 10 名,我们知道排名,也知道获得排名的变量(Votes)。
真实排名:
Player Votes
1 Ablett, Gary GC 28
528 Selwood, Joel GE 27
588 Swan, Dane CW 26
301 Johnson, Steve GE 25
120 Dangerfield, Patrick AD 22
236 Hannebery, Dan SY 21
464 Pendlebury, Scott CW 21
502 Rockliff, Tom BL 21
102 Cotchin, Trent RI 19
285 Jack, Kieren SY 19
现在,假设我有两个列表,由模型 A 和 B 生成。这些模型已经在一组独立的数据上进行了训练,以预测每个玩家在新数据集上获得的票数(与真实排名相关联) .
A型输出:
1 Ablett, Gary GC 41
528 Selwood, Joel GE 30
588 Swan, Dane CW 29
211 Griffen, Ryan WB 28
464 Pendlebury, Scott CW 24
502 Rockliff, Tom BL 24
641 Watson, Jobe ES 23
301 Johnson, Steve GE 22
102 Cotchin, Trent RI 21
180 Fyfe, Nathan FR 21
B型输出:
1 Ablett, Gary GC 29.34127
588 Swan, Dane CW 25.49142
211 Griffen, Ryan WB 22.50983
464 Pendlebury, Scott CW 19.84517
528 Selwood, Joel GE 18.32023
120 Dangerfield, Patrick AD 16.94963
301 Johnson, Steve GE 16.05056
641 Watson, Jobe ES 15.73885
416 Montagna, Leigh SK 15.35478
339 Liberatore, Tom WB 14.50770
确定模型 A 或 B 的输出是否更接近真相的最佳指标或损失函数是什么?我不确定是比较排名更好,还是比较列表之间每个玩家的投票差异更好。有没有最佳的方法呢?还是取决于人们如何选择称重?
在这种情况下,个人在列表中的位置可能比获得的票数更重要,但我想这些信息仍然可以以某种方式使用。我担心的一个问题是,随着您进入“真实名单”,个人之间的投票关系数量会急剧增加。在这种情况下,我想简单地对前 20 或 50 个排名条目进行比较可能会有所帮助。此外,列表越靠后,正确排名就越不重要。例如,位置 1 和位置 2 的项目交换很重要,但交换位置 15 和 16 基本上无关紧要。
我熟悉等级相关方法,但这里有其他更合适的度量吗?这里提到的措施对解决这个问题有用吗?
干杯。