基本信息

标题、时间、会议、领域、code、paper 链接

GLM 于 2021 年发表于 arxiv / code 上，论文提出了一种新的通用语言模型 GLM(General Language Model)。 GLM，使用自回归填空目标进行预训练，可以针对各种自然语言理解和生成任务进行微调。

torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Convolution Layers 。

torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Pooling layers。

torch.nn 是 torch 的神经网络计算部分，其中有许多基础的功能。本文主要记录一下 torch.nn 的 Normalization Layers。

attention 是一种我们常用到的注意力机制。

背景

Paper: NeurIPS 2020

Kullback-Leibler Divergence，即K-L散度，是一种 量化两种概率分布P和Q之间差异 的方式，又叫相对熵。

背景

Paper: NeurIPS 2019

Code: https://github.com/facebookresearch/vilbert-multi-task

背景

论文来自于百度在2020年AAAI上提出的知识增强视觉-语言预训练模型 《ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph》，在多个比赛上获得了 SOTA 的结果。

背景

论文来自 opai 2021 年提出的一个成果，相关可参考信息： github 、 paper 。 之前其实并不太了解多模态预训练领域的成果，最近看到了这篇质量很高的成果。