前言

Transformer 使用 Attention 结构来进行建模，在 NLP 和 CV 领域都有比较好的效果，其主要结构如下：

如果只取左边的部分，则退化为 BERT 类结构。 如果只取右边部分，则变成 GPT 类结构。

基本信息

标题、时间、会议、领域、code、paper 链接

题目：Targeted Supervised Contrastive Learning for Long-Tailed Recognition

来源：CVPR 2022

Code: https://github.com/LTH14/targeted-supcon

xuejiao 阿姨，展信佳：

    有很多话想说，但是又不知道怎么说出口。在微信上打了很多，但感觉似乎很容易被忘掉，所以想来想去，还是写一封信，将现在的这些想法都记录下来。过很多年后回忆起来，就还能感受到自己的鲜活！

基本信息

标题、时间、会议、领域、code、paper 链接

站在 2023 这个时间点看 T5 这篇论文感觉五味杂成，T5 和 gpt2 多么像的技术方案，最终 gpt 引爆了 LLM 。

基本信息

Paper：GPT, GPT-2, GPT-3

Github：https://github.com/openai/gpt-2 、https://github.com/openai/gpt-3

GPT 系列是历史非常悠久的论文了，gpt1 甚至在 bert 之前就发布了。 但在下游任务上的表现，并没有 bert 亮眼，所以一直默默无闻。最近 chatgpt 大火，又把 gpt 的论文翻出来复习一下。

分割类问题也算是动态规划的常客。对于字符类问题，状态转移方式往往依赖于相邻的位置。

0-1背包问题，状态方程不仅依赖于相邻的位置，还依赖于满足条件的空间位置。

对于分割类型题，动态规划的状态转移方程通常并不依赖相邻的位置，而是依赖于满足分割条件的位置。

类型特点

股票买卖类问题的「状态」有三个，第一个是天数，第二个是允许交易的最大次数，第三个是当前的持有状态（即之前说的 rest 的状态，我们不妨用 1 表示持有，0 表示没有持有）。然后我们用一个三维数组就可以装下这几种状态的全部组合：

1
2
3
4
5
6
7
8
9

dp[i][k][0 or 1]
0 <= i <= n - 1, 1 <= k <= K
n 为天数，大 K 为交易数的上限，0 和 1 代表是否持有股票。
此问题共 n × K × 2 种状态，全部穷举就能搞定。

for 0 <= i < n:
    for 1 <= k <= K:
        for s in {0, 1}:
            dp[i][k][s] = max(buy, sell, rest)

三种背包问题

背包问题主要分为三种：

• 0-1 背包问题：
  • 定义：给你一个可装载重量为 W 的背包和 N 个物品，每个物品有重量和价值两个属性。其中第 i 个物品的重量为 wt[i]，价值为 val[i]，现在让你用这个背包装物品，最多能装的价值是多少？
  • 变种的子集背包问题定义：给一个可装载重量为 sum / 2 的背包和 N 个物品，每个物品的重量为 nums[i]。现在让你装物品，是否存在一种装法，能够恰好将背包装满？
• 完全背包问题：
  • 定义：0-1 背包问题中，每个物品最多可以装一次。完全背包中，所有物品的数量是无限的。
  • 因为物品的数量没有限制，因此使用基于贪心策略来做。 循环判断「剩余空间下可容纳的最高性价比物品」，并加入背包。

定义

根据 Leetcode 的习惯，子序列（subsequence）不必连续，子数组（subarray）或子字符串（substring）必须连续。

动态规划中，子串子序列的问题大概分为如下几种：

• 单条数组(字符)内部的对比，比如:

  • 5. 最长回文子串 + 516. 最长回文子序列
  • 300. 最长递增子序列 + 674. 最长连续递增序列（不使用动态规划反而更简单一些）

• 两条数组(字符)之间做对比，比如

  • 1143. 最长公共子序列 和 最长公共子串 (leetcode 上没有这个题，随便找了一个)
  • 72. 编辑距离

概念

组合、排列、子集是 leetcode 中比较常见的题目系列，主要区别在于: