基本信息

标题、时间、会议、领域、code、paper 链接

站在 2023 这个时间点看 T5 这篇论文感觉五味杂成，T5 和 gpt2 多么像的技术方案，最终 gpt 引爆了 LLM 。

基本信息

Paper：GPT, GPT-2, GPT-3

Github：https://github.com/openai/gpt-2 、https://github.com/openai/gpt-3

GPT 系列是历史非常悠久的论文了，gpt1 甚至在 bert 之前就发布了。 但在下游任务上的表现，并没有 bert 亮眼，所以一直默默无闻。最近 chatgpt 大火，又把 gpt 的论文翻出来复习一下。

分割类问题也算是动态规划的常客。对于字符类问题，状态转移方式往往依赖于相邻的位置。

0-1背包问题，状态方程不仅依赖于相邻的位置，还依赖于满足条件的空间位置。

对于分割类型题，动态规划的状态转移方程通常并不依赖相邻的位置，而是依赖于满足分割条件的位置。

类型特点

股票买卖类问题的「状态」有三个，第一个是天数，第二个是允许交易的最大次数，第三个是当前的持有状态（即之前说的 rest 的状态，我们不妨用 1 表示持有，0 表示没有持有）。然后我们用一个三维数组就可以装下这几种状态的全部组合：

1
2
3
4
5
6
7
8
9

dp[i][k][0 or 1]
0 <= i <= n - 1, 1 <= k <= K
n 为天数，大 K 为交易数的上限，0 和 1 代表是否持有股票。
此问题共 n × K × 2 种状态，全部穷举就能搞定。

for 0 <= i < n:
    for 1 <= k <= K:
        for s in {0, 1}:
            dp[i][k][s] = max(buy, sell, rest)

三种背包问题

背包问题主要分为三种：

• 0-1 背包问题：
  • 定义：给你一个可装载重量为 W 的背包和 N 个物品，每个物品有重量和价值两个属性。其中第 i 个物品的重量为 wt[i]，价值为 val[i]，现在让你用这个背包装物品，最多能装的价值是多少？
  • 变种的子集背包问题定义：给一个可装载重量为 sum / 2 的背包和 N 个物品，每个物品的重量为 nums[i]。现在让你装物品，是否存在一种装法，能够恰好将背包装满？
• 完全背包问题：
  • 定义：0-1 背包问题中，每个物品最多可以装一次。完全背包中，所有物品的数量是无限的。
  • 因为物品的数量没有限制，因此使用基于贪心策略来做。 循环判断「剩余空间下可容纳的最高性价比物品」，并加入背包。

定义

根据 Leetcode 的习惯，子序列（subsequence）不必连续，子数组（subarray）或子字符串（substring）必须连续。

动态规划中，子串子序列的问题大概分为如下几种：

• 单条数组(字符)内部的对比，比如:

  • 5. 最长回文子串 + 516. 最长回文子序列
  • 300. 最长递增子序列 + 674. 最长连续递增序列（不使用动态规划反而更简单一些）

• 两条数组(字符)之间做对比，比如

  • 1143. 最长公共子序列 和 最长公共子串 (leetcode 上没有这个题，随便找了一个)
  • 72. 编辑距离

概念

组合、排列、子集是 leetcode 中比较常见的题目系列，主要区别在于:

基本概念

二叉树最重要的概念应该是：前序遍历、中序遍历、后续遍历 了。

• 前序遍历：根节点->左子树->右子树（根->左->右）
• 中序遍历：左子树->根节点->右子树（左->根->右）
• 后序遍历：左子树->右子树->根节点（左->右->根）
• 层序遍历: 从上至下、从左至右层次进行，借助队列实现。

排序算法是最常见的一种算法，生活中比较常见的实现方式有快速排序和归并排序。