torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Convolution Layers 。

torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Pooling layers。

torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Normalization Layers。

attention 是一种我们常用到的注意力机制。

背景

Paper: NeurIPS 2020

Kullback-Leibler Divergence，即 K-L 散度，是一种量化两种概率分布 P 和 Q 之间差异的方式，又叫相对熵。

背景

Paper: NeurIPS 2019

Code: https://github.com/facebookresearch/vilbert-multi-task

背景

论文来自于百度在2020年AAAI上提出的知识增强视觉-语言预训练模型 《ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph》，在多个比赛上获得了 SOTA 的结果。

背景

论文来自 opai 2021 年提出的一个成果，相关可参考信息： github 、 paper 。 之前其实并不太了解多模态预训练领域的成果，最近看到了这篇质量很高的成果。

NDCG，Normalized Discounted Cumulative Gain，直接翻译为归一化折损累计增益，这个指标通常用来衡量和评价搜索结果算法。