Sigmoid 函数和 Logistic 回归

Sigmoid 函数和 Logistic 回归是与伯努利分布有关的函数,关于伯努利分布的基本内容,参阅《机器学习数学基础》。

Sigmoid 函数

Sigmoid 函数也称为 logistic 函数。

若根据给定的输入 ,预测二值输出 ,可以通过条件概率分布:

其中 ​ 是预测的输出分布函数,它可以有很多不同的具体形式。为了避免使用 ​ 约束条件,可以改一个无约束的函数,​即:

上式的函数 就是sigmoid 函数logistic 函数,其具体函数形式如下:

其中 ,其函数曲线如下图所示,即为 S 形状。

易知,上述函数的值域是 ​​​ ,它符合作为概率的输出值范围(所以,伯努利参数有一个有效值)。换个角度看,Sigmoid 函数也可以看成是亥维赛阶梯状函数(Heaviside step function)的“柔软化”。如下,是亥维赛阶梯函数定义和图示。

​​

将 Sigmoid 函数代入到前面所定义的伯努利分布 中,得:

上式中的 ​​​ 称为对数几率(log odds):​ ,其中 ​ ,即:

​​

注:正是因为上述原因,logistic 函数不能翻译为“逻辑函数”,也因此,在周志华的《机器学习》一书中,将 logistic 回归译为“对数几率回归”。

因此,对数几率 ​ 与 之间形成的映射关系,称为 logistic 函数,其函数形式为:

取上式的逆(反函数),得到的函数称为 logit 函数,显然此函数值域是

以下关于 Sigmoid 函数的性质和有关计算:

​​​

logistic 回归

,即使用线性模型进行预测,代入 中,得到:

考虑 ,则:

上式称为 logistic 回归(周志华在《机器学习》中译为“对数几率回归”)。

作者: 老齐
链接: http://math.itdiffer.com/sigmoid.html
来源: 老齐教室-机器学习数学基础
本文原创发布于「老齐教室-机器学习数学基础」,转载请注明出处,谢谢合作!

https://gitee.com/qiwsir/images/raw/master/2021-2-15/1613357594979-1.png

results matching ""

    No results matching ""