十大经典预测算法(二)—-逻辑回归

一、逻辑回归概念

线性回归可以拟合X与Y之间的关系,但回归模型中Y值是连续的,如果换成一个二分类标签,Y只能取两个值0、1,这时候就不能用线性回归了,这样就有了逻辑回归。

针对Y的值域在区间[0-1]的问题,我们不能寻找到一条完美曲线,用于拟合二分类模型,但我们可以寻找一条完美的S型曲线,S型曲线叫Sigmoid曲线,

十大经典预测算法(二)----逻辑回归

二、Sigmoid函数介绍

Sigmoid函数数学表达示

十大经典预测算法(二)----逻辑回归

十大经典预测算法(二)----逻辑回归

以二分类为例,逻辑回归就是假设y=1的概率为(P(Y = 1))与X之间是S曲线关系,数学表达式为

十大经典预测算法(二)----逻辑回归

 

逻辑回归核心原理是在线性回归的基础上加上一个Sigmoid函数,把训练数据通过Sigmoid函数整合到(0—1)之间。

逻辑回归的损失函数为

十大经典预测算法(二)----逻辑回归

 

逻辑回归只能用梯度下降法来求解参数w,b,不能用最小二乘法。

 

逻辑回归虽然有“回归”两字,但是他解决的是分类问题,而不是回归问题,逻辑回归是最经典和最常用的一个分类算法

随机梯度下降:每次只考虑一个样本

批量梯度下降:考虑所有样本

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/309194.html

(0)
上一篇 2023年12月4日 14:14
下一篇 2023年12月4日 14:16

相关推荐

发表回复

登录后才能评论