pytorch 实现 bert,附带详细的注释和 transformers 国内下载链接

简介

Bert 是 NLP 领域(甚至是在 DL 领域)最近几年最重要的论文了,其将预训练任务、 attention 发扬光大,开辟了一个非常有趣的研究放方向,甚至后续的很多 cv 网络中(如 vitvilbertmae)都可以看到它的身影。

使用纯 pytorch 实现(无 transformers 等多余依赖): backbone_bert

阅读更多