如何评估基于方面的情感分析模型？

数据挖掘 机器学习 情绪分析
2022-02-17 23:08:06

我有一个模型 X 进行审查并预测方面的位置和极性：

input: Serves really good sushi. (review)
output: sushi > Positive (aspect > polarity).

我已经看到文献中的这项任务有许多不同的评估方式。此外，一些数据集/模型包括情感词（在我们的示例中，“ really good”）。

无论如何，鉴于上述输入和输出，我该如何评估我的模型？在方面的话？关于极性？在将其计为命中之前，我是否应该验证极性指的是正确的方面？

1个回答

经过长时间的文献回顾，我能够回答我的问题：

有几个任务，所以它取决于：

  • 方面提取：测量检测的准确性（或任何其他指标，通常是 F1 分数）sushi
  • 意见提取：衡量检测的准确性good
  • 情感分类：衡量正确分类sushi为的准确度Positive
  • End-to-end ABSA：精度将基于两个步骤测量，1 和 3。如果模型正确检测到方面和情绪，那么这是一个正确的情况。如果模型遗漏了其中一个，则该案例将被视为错误。这个类别是我上面问题的答案
  1. 我在 SemEval 共享任务 (2014, 2015, 2016) 中看到他们还有另一个任务是方面的类别分类。例如，考虑到上面的例子，模型应该给出sushi一个food标签。

因此，这取决于您到底想做什么，或者您的任务是什么。我希望我没有错过任何东西。

其它你可能感兴趣的问题
上一篇数据集中应该有多少特征才能应用任何特征选择方法？ 下一篇鲁棒性与泛化