逻辑回归

一、假设函数

hθ(x)=g(θTX)=11+e−θTX(Sigmoid函数)h_\theta(x) = g(\theta^TX)=\frac{1}{1+e^{-\theta^TX}} \qquad \qquad \qquad (Sigmoid函数) hθ​(x)=g(θTX)=1+e−θTX1​(Sigmoid函数)

X取值范围是(−∞,+∞)(-\infty, +\infty)(−∞,+∞)
Y的取值范围是(0, 1)
{θTX小于0=⇒hθ(x)<0.5=⇒y=0θTX>0=⇒hθ(x)>0.5=⇒y=1θTX=0=⇒hθ(x)=0.5=⇒决策边界\begin{cases} & \theta^TX小于0 =\Rightarrow h_\theta(x) < 0.5 =\Rightarrow y=0 \\ & \theta^TX>0 =\Rightarrow h_\theta(x) > 0.5 =\Rightarrow y=1\\ & \theta^TX=0 =\Rightarrow h_\theta(x) = 0.5 =\Rightarrow 决策边界 \end{cases} ⎩⎪⎨⎪⎧​​θTX小于0=⇒hθ​(x)<0.5=⇒y=0θTX>0=⇒hθ​(x)>0.5=⇒y=1θTX=0=⇒hθ​(x)=0.5=⇒决策边界​

二、代价函数 - 最大似然估计

线性回归的代价函数是平方损失函数，将逻辑回归的假设函数代入公式后的损失函数是一个非凸函数，有很多个局部最优解，没有办法快速的获得全局最优解，于是我们就用上了最大似然估计：
J(θ)={if y=1 then −y(i)log(hθ(x(i))if y=0 then −(1−y(i))log(1−hθ(x(i)))J(\theta)=\begin{cases} & \text{ if y=1 then } -y^{(i)}log(h_\theta(x^{(i)}) \\ & \text{ if y=0 then } -(1-y^{(i)})log(1-h_\theta(x^{(i)})) \end{cases} J(θ)={​ if y=1 then −y(i)log(hθ​(x(i)) if y=0 then −(1−y(i))log(1−hθ​(x(i)))​
整合后
J(θ)=1m(−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i))))J(\theta)=\frac{1}{m}(-y^{(i)}log(h_\theta(x^{(i)})) - (1-y^{(i)})log(1-h_\theta(x^{(i)}))) J(θ)=m1​(−y(i)log(hθ​(x(i)))−(1−y(i))log(1−hθ​(x(i))))

三、目标函数

MinJ(θ)MinJ(\theta) MinJ(θ)

四、求解目标函数

1、梯度下降

2、正规方程

五、为什么是Sigmoid函数

• 输入范围是−∞→+∞，输出为0，1，正好满足概率分布为（0，1）的要求
• 单调上升的可导函数

@ 学必求其心得，业必贵其专精