在 NLP 学术论文中,可以将“token embeddings”称为“tokens”吗?

数据挖掘 nlp
2022-03-13 10:14:14

我正在写一篇关于自然语言处理 (NLP) 的论文,我只是有一个关于术语的快速问题。

在像 Transformers 这样的语言模型中,“token”是指文本序列中的单个单词,而有一个特殊的术语“token embedding”是指在 token 通过初始嵌入层后产生的嵌入。

如果我只是将“令牌嵌入”称为“令牌”会不会有问题?

(例如“隐藏嵌入和令牌嵌入之间的交互”--->“隐藏嵌入和令牌之间的交互”)

我正在尝试适应不同的术语,但我的句子变得非常冗长......

谢谢,

1个回答

至少对我来说,这听起来很奇怪,因为我将标记理解为它们是离散的文本单元,而不是它们分配的向量。

我建议您不要试图强制进行非标准的简化。只需以技术上准确的方式说出您想要的内容,最好使用简短的句子以避免使读者难以理解您的话语。