每个人都知道变形金刚在 NLP 中的成功。是否有其他领域的已知工作（例如，也有顺序的自然发生方式，例如股票价格预测或其他问题）？
Transformer 在与 NLP 不同的其他领域是否取得了成功？
人工智能
深度学习
自然语言处理
应用
序列建模
变压器
2021-11-11 10:43:00
1个回答
当它与图像或音乐等其他领域对话时，使用 Transformer 总是会面临序列长度限制的问题。据我所知，self-attention 的瓶颈是使用矩阵相当限制了转换器应用于其他领域。例如，一个 32x32 像素的图像，表示 1024 个标记的序列。
OpenAI做了一些相关的研究，如下。
Generative Modeling with Sparse Transformers：在本文中，具有稀疏注意力的 Transformer 被应用于图像和波形。
ImageGPT：在语言上训练的大型 Transformer 模型可以生成连贯的文本，在像素序列上训练的相同模型可以生成连贯的图像补全和样本。（摘自博客）
其它你可能感兴趣的问题