Logistic 回归
in 统计学习原理 with 0 comment

Logistic 回归

in 统计学习原理 with 0 comment

最近看到了Logistic 回归,LR模型主要用于分类模型(不是回归),细心的人不难发现LR模型在线性回归模型上加了一个sigmoid转换。

sigmoid转换的优势

算法

定义

$P(y=1\mid x)=\dfrac{e^{wx+b}}{1+e^{wx+b}}$
$P(y=0\mid x)=\dfrac{1}{1+e^{wx+b}}$

扩张一下$w,x$,令 $wx+b$->$wx$

$P(y=1\mid x)=\dfrac{e^{wx}}{1+e^{wx}}$
$P(y=0\mid x)=\dfrac{1}{1+e^{wx}}$

对数几率

$p$指发生概率

$$logit(p)=log \dfrac{p}{1-p}$$
$p$ 代入 $P(y=1\mid x)$

$$logit(p)=log \dfrac{p}{1-p}=log \dfrac{P(y=1\mid x)}{1-P(y=1\mid x)}=wx$$

把$P(y=1\mid x)$领出来,

$$p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}$$

极大似然估计

跟上边学到的貌似是一回事

小结

从图像中可以看出,逻辑回归函数将输入的$(-\infty, \infty)$空间映射到了$(0,1)$空间,即将值域限制在了$(0,1)$之内。 限制后的假设函数为:
$$p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}$$

关于Logistic 回归 的使用场景和优化方向,供下回探讨。

Responses

From now on, bravely dream and run toward that dream.
陕ICP备17001447号