二分类 (binary classification) 是最简单的一种分类问题，$y$ 的取值只有两种：0 和 1，对应的样本分别称为负样本和正样本。逻辑回归 (Logistic regression) 可用于处理二分类问题。

逻辑回归

定义 $h_{\theta }(x)$

$$\begin{array}{}\text{(1)}& h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}\end{array}$$

其中用到了 sigmoid function

$$\begin{array}{}\text{(2)}& g(z)=\frac{1}{1+e^{-z}}\end{array}$$

当 $z$ 趋于 $+\mathrm{\infty }$ 时 $g(z)$ 趋于 1；当 $z$ 趋于 $-\mathrm{\infty }$ 时 $g(z)$ 趋于 0

sigmoid function

对其求导得到

$$\begin{array}{}\text{(3)}& g^{\prime }(z)& =\frac{d}{dz}\frac{1}{1+e^{-z}}\text{(4)}& & =\frac{1}{(1+e^{-z}{)}^2}(e^{(-z)})\text{(5)}& & =\frac{1}{(1+e^{-z})}(1-\frac{1}{(1+e^{-z})})\text{(6)}& & =g(z)(1-g(z))\end{array}$$

假设概率如下

$$\begin{array}{}\text{(7)}& p(y=1|x;\theta )=h_{\theta }(x)\end{array}$$

$$\begin{array}{}\text{(8)}& p(y=0|x;\theta )=1-h_{\theta }(x)\end{array}$$

则可以统一表示为

$$\begin{array}{}\text{(9)}& p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{(1-y)}\end{array}$$

似然函数如下

$$\begin{array}{}\text{(10)}& L(\theta )& =p(\overrightarrow{y}|X;\theta )\text{(11)}& & =\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )\text{(12)}& & =\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{(y^{(i)})}(1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}\end{array}$$

同样取对数似然函数

$$\begin{array}{}\text{(13)}& l(\theta )& =logL(\theta )\text{(14)}& & =\sum _{i=1}^m{y}^{(i)}log(h(x^{(i)}))+(1-y^{(i)})log(1-h(x^{(i)}))\end{array}$$

假设只有一个样本 $(x,y)$，根据梯度上升法 $\theta :=\theta +\alpha {▽}_{\theta }l(\theta )$，首先对 $\theta$ 求偏导得到梯度

$$\begin{array}{}\text{(15)}& \frac{\partial }{\partial {\theta }_j}l(\theta )& =(y\frac{1}{g({\theta }^{T}x)}-(1-y)\frac{1}{1-g({\theta }^{T}x)})\frac{\partial }{\partial {\theta }_j}g({\theta }^{T}x)\text{(16)}& & =(y\frac{1}{g({\theta }^{T}x)}-(1-y)\frac{1}{1-g({\theta }^{T}x)})g({\theta }^{T}x)(1-g({\theta }^{T}x))\frac{\partial }{\partial {\theta }_j}{\theta }^{T}x\text{(17)}& & =(y(1-g({\theta }^{T}x))-(1-y)g({\theta }^{T}x))x_j\text{(18)}& & =(y-h_{\theta }(x))x_j\end{array}$$

代入公式得到梯度上升更新规则，注意这里为了使 $L(\theta )$ 取到最大值，使用的是梯度上升

$$\begin{array}{}\text{(19)}& {\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)})x_j^{(i)}\end{array}$$

感知机

如果逻辑回归的 $g(z)$ 改为如下函数

$$\begin{array}{}\text{(20)}& g(z)=\{\begin{array}{ll}1& \text{ if }z⩾0\\ 0& \text{ if }z<0\end{array}\end{array}$$

这样可以得到感知机学习算法 (perceptron learning algorithm)

牛顿方法

考虑另外一个最小化 $J(\theta )$ 的方法，牛顿方法使用了另外一种思路，它的更新规则如下

$$\begin{array}{}\text{(21)}& \theta :=\theta -\frac{f(\theta )}{f^{\prime }(\theta )}\end{array}$$

如下图所示，选曲线上一点画出切线，则 $f(\theta )$ 表示该点的纵坐标，$f^{\prime }(\theta )$ 表示三角形中纵向长度与横向长度 (注意是在 $f(x)=0$ 这条线上) 的比值，因此 $\frac{f(\theta )}{f^{\prime }(\theta )}$ 表示三角形横向长度。上述式子相当于每次把 $\theta$ 减少三角形横向长度。迭代数次后可以找到一个 $\theta$ 使得 $f(\theta )=0$。

牛顿方法

考虑另一个问题：如何最大化 $l(\theta )$？当其取最大值时 $l^{\prime }(\theta )=0$，我们只需要找到使该一阶导数为 0 的点，可将其代入上述公式，进而得到如下公式

$$\begin{array}{}\text{(22)}& \theta :=\theta -\frac{f^{\prime }(\theta )}{f^{″}(\theta )}\end{array}$$