Kullback-Leibler Divergence，即 K-L 散度，是一种量化两种概率分布 P 和 Q 之间差异的方式，又叫相对熵。

NDCG，Normalized Discounted Cumulative Gain，直接翻译为归一化折损累计增益，这个指标通常用来衡量和评价搜索结果算法。

gelu 是一种常见的 激活函数，在 bert 中，有两种计算方法

范数的计算主要使用到了 numpy.linalg.norm 函数，在数学推导中，范数是很常见的规则部分，但是具体的计算过程并不清楚，本篇尝试详细的计算一下。

矩阵分解是一种常用的推荐系统，通常研究者们只有用户-物品评分矩阵，如何从该矩阵中获得用户的个性偏好以及物品自身属性为交替最小二乘法的实现目标。

最近看到了 Logistic regression，LR 模型主要用于分类模型（不是回归），细心的人不难发现 LR 模型在线性回归模型上加了一个 sigmoid 转换。

感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。

携程笔试的时候碰到了这个题目，当时其实没多想。贝叶斯这条路子也算是经典了。

笔记来自《统计学习方法》第四章。

> 上一篇大概讲了一下拉格朗日对偶法以及 KKT 条件，这一篇推导一下 SVM 的公式。下一篇举个例子，差不多就结束了。