基本信息

google 在 2021 年又给开源世界带来了一个非常有趣的成果 《WIT: Wikipedia-based Image Text Dataset for Multimodal Multilingual Machine Learning》， paper / code 。 其中包含了 3760w 的图文对，覆盖109个语言。 仅描述部分就有25G的数据，还不包括大量的图片链接。

背景

Paper: NeurIPS 2019

Code: https://github.com/facebookresearch/vilbert-multi-task

背景

论文来自于百度在2020年AAAI上提出的知识增强视觉-语言预训练模型 《ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph》，在多个比赛上获得了 SOTA 的结果。

背景

论文来自 opai 2021 年提出的一个成果，相关可参考信息： github 、 paper 。 之前其实并不太了解多模态预训练领域的成果，最近看到了这篇质量很高的成果。