我尝试在 nlp 以及 BERT 中识别 vanilla 变压器的应用。但我似乎没有为他们中的任何一个找到好的摘要。因此我的问题是：
- Transformer和bert分别有哪些应用？
- 在（1）中，为什么在某些应用中使用香草变压器而不是 BERT？（反之亦然？） 原因是什么？
TIA。
普通变压器与BERT的应用对比
数据挖掘
伯特
变压器
2022-02-15 20:32:46
1个回答
一个普通的变压器有两部分：编码器（非自回归）和解码器（自回归）。这允许它生成文本（即标记序列）。因此，香草转换器的应用是那些接收一段文本作为输入并获得另一段文本作为输出的应用。主要的例子是机器翻译。
BERT 是一个变压器编码器。它的应用是那些输入是一段文本（或 N 段文本）并且输出是：
- 一个输出（在
[CLS]令牌位置）。这包括任何分类或回归任务。 - 每个输入标记一个输出。这主要包括标记标记任务，例如词性标记、跨度标记（例如用于问答）。
其它你可能感兴趣的问题