pytorch 实现 bert,附带详细的注释和 transformers 国内下载链接

简介

Bert 是 NLP 领域(甚至是在 DL 领域)最近几年最重要的论文了,其将预训练任务、 attention 发扬光大,开辟了一个非常有趣的研究放方向,甚至后续的很多 cv 网络中(如 vitvilbertmae)都可以看到它的身影。

使用纯 pytorch 实现(无 transformers 等多余依赖): backbone_bert

阅读更多

K-L 散度

Kullback-Leibler Divergence,即K-L散度,是一种 量化两种概率分布P和Q之间差异 的方式,又叫相对熵

阅读更多

推荐指标-NDCG

NDCG,Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益,这个指标通常是用来衡量和评价搜索结果算法。

阅读更多