attention 是一种我们常用到的注意力机制。

背景

Paper: NeurIPS 2020

背景

Paper: NeurIPS 2019

Code: https://github.com/facebookresearch/vilbert-multi-task

背景

论文来自于百度在2020年AAAI上提出的知识增强视觉-语言预训练模型 《ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph》，在多个比赛上获得了 SOTA 的结果。

背景

论文来自 opai 2021 年提出的一个成果，相关可参考信息： github 、 paper 。 之前其实并不太了解多模态预训练领域的成果，最近看到了这篇质量很高的成果。

论文来自于ICDE2018， 论文链接，关于影响力最大化的一篇文章。