Kullback-Leibler Divergence，即K-L散度，是一种 量化两种概率分布P和Q之间差异 的方式，又叫相对熵。

NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，这个指标通常是用来衡量和评价搜索结果算法。

gelu 是一种常见的 激活函数，在 bert 中，有两种计算方法

范数的计算主要使用到了 numpy.linalg.norm 函数，在数学推导中，范数是很常见的规则部分，但是具体的计算过程并不清楚，本篇尝试详细的计算一下。

矩阵分解是一种常用的推荐系统，通常研究者们只有用户-物品评分矩阵，如何从该矩阵中获得用户的个性偏好以及物品自身属性为交替最小二乘法的实现目标。

最近看到了Logistic regression，LR模型主要用于分类模型(不是回归)，细心的人不难发现LR模型在线性回归模型上加了一个sigmoid转换。

感知机对应于输入空间中将实例划分为正负梁磊的分离超平面，属于判别模型。

携程笔试的时候碰到了这个题目，当时其实没多想。贝叶斯这个路子怕也太过气了吧… 携程也真是…

笔记来自《统计学习方法》第四章。

> 上一篇大概讲了一下拉格朗日对偶法以及KKT条件，这一篇推导一下SVM的公式。下一篇举个例子，差不多就结束了。