Transformer 中的 position embedding 的设计

前言

Transformer 使用 Attention 结构来进行建模，在 NLP 和 CV 领域都有比较好的效果，其主要结构如下：

如果只取左边的部分，则退化为 BERT 类结构。 如果只取右边部分，则变成 GPT 类结构。