如何使用变压器使用 bert-tiny?

数据挖掘 伯特
2022-03-12 21:11:52

我如何使用 BERT-tiny .. 我试图bert-base-uncased通过这一行加载

transformers.AutoTokenizer.from_pretrained("bert-base-uncased")

但是,请问如何使用 BERT-tiny?

1个回答

您可以使用用户上传到 huggingface 模型库的bert-tiny模型prajjwal1模型卡提到它使用官方 Google BERT 存储库中的检查点并将其转换为 pytorch。

import transformers

transformers.AutoTokenizer.from_pretrained("prajjwal1/bert-tiny")