GPT GPT2 GPT3 系列论文

基本信息

Paper：GPT, GPT-2, GPT-3

Github：https://github.com/openai/gpt-2 、https://github.com/openai/gpt-3

GPT 系列是历史非常悠久的论文了，gpt1 甚至在 bert 之前就发布了。 但在下游任务上的表现，并没有 bert 亮眼，所以一直默默无闻。最近 chatgpt 大火，又把 gpt 的论文翻出来复习一下。