二分类问题

在二分类问题中，输出$y\in \{0, 1\}$。同样的，我们也可以用线性拟合来尝试解决二分类问题（如下图左），但数据点比较异常时，容易出现下图右这样的情况：

一般，在二分类问题中，我们会选用『logistic函数』来拟合（因为形状像S，又称为『sigmoid函数』）：

$$h_\theta (x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$ logistic函数$g(z)=1/(1+e^{-z})​$的形状如下： 可以定义 $$\begin{align} P(y=1|x;\theta)& =h_\theta (x) \\\ P(y=0|x;\theta)& =1-h_\theta(x) \end{align}$$ 于是： $$P(y|x;\theta)=h_\theta(x)^y(1-h_\theta(x))^{(1-y)}$$ 进行极大似然估计： $$L(\theta)=P(y|x;\theta)=\prod_{i=1}^mP(y^{(i)}|x^{(i)};\theta)=\prod_{i=1}^mh_\theta(x^{(i)})^{y^{(i)}}(1-h_\theta(x^{(i)}))^{(1-y^{(i)})}$$ 为了计算方便，定义 $$\begin{align} l(\theta)&=log(L(\theta))\\\ &=\sum_{i=1}^mlog(P(y^{(i)}|x^{(i)};\theta))\\\ &=\sum_{i=1}^m(y^{(i)}\cdot log(h_\theta(x^{(i)}))+(1-y^{(i)})\cdot log(1-h_\theta(x^{(i)}))) \end{align}$$ 利用梯度上升进行求解： $$\theta := \theta + \alpha \nabla_\theta l(\theta)$$ 其中 $$\nabla_{\theta_j} l(\theta)=\frac{\partial}{\partial\theta_j}l(\theta)=\sum_{i=1}^m(y^{(i)}-h_\theta(x^{(i)}))\cdot x_j^{(i)}\\\ \theta_j:=\theta_j+\alpha \cdot \sum_{i=1}^m(y^{(i)}-h_\theta(x^{(i)}))\cdot x_j^{(i)}$$ 最终的梯度上升结果几乎与线性拟合中的梯度下降结果一样。