一组词嵌入的最大聚合是什么?

数据挖掘 神经网络 词嵌入
2022-02-12 02:12:46

在一篇论文中,我看到:

在此处输入图像描述 在此处输入图像描述

Q是一组词。

ψGw是词嵌入。

所以,{ψGw(wt),wtQ}给我一组嵌入的所有单词Q.

例如,如果我有:

Q = {'a', 'b', 'c'}
embedding_gw.shape = (1000, 8) # 1000 words in vocab, embedding size is 8

我会得到:

{
  [1,2,3,4,5,6,7,8], #embedding of 'a'
  [8,7,6,5,4,3,2,1], #embedding of 'b'
  [4,5,3,6,7,8,1,2]  #embedding of 'c'
}

的结果max{ψGw(wt),wtQ}应该是单个向量。

我的问题是,我如何获得这张单曲max向量?

  • 我是否对每个嵌入中的所有值求和并选择最大的一个?
  • 我选择max每个人的价值ith位置,创建一个全新的向量?
  • 我做点别的吗?
1个回答

第二个选项是正确的。从论文中:

在这种情况下,我们对 w 的所有实例的开始嵌入执行一个组件方式的最大值,以获得所有 w 出现的最佳特征。

前面的引用可以在等式 17 之前的几段中找到,第二列,页面顶部。