欠拟合和过拟合

对于之前房价的例子，假设只有一个特征size。

假如，我们只用简单的线性拟合（\(\theta_0+\theta_1x_1\)，\(x_1\)表示size），最终拟合结果会变一条直线，就可能产生下图最左边的结果，我们称之为『欠拟合』。

当我们尝试用二次曲线来拟合（\(\theta_0+\theta_1x_1+\theta_2x_1^2\)，可以假设\(x_2=x_1^2\)，再进行线性拟合），就可能产生中间的结果。

但如果再继续增加曲线的复杂度，对于下图这种五个样本的例子，假如我们用一个五次曲线来拟合它（\(\theta_0+\theta_1x1+\theta_2x1^2+\cdots+\theta_5x_1^5\)）就会精确拟合所有数据，产生右图的结果，我们称之为『过拟合』。

首先引入一些后面会用到的定理：

定义1：定义函数\(f: \Bbb R^{m \times n} \mapsto \Bbb R\)，\(A \in \Bbb R^{m \times n}\)，定义 \[ \nabla_Af(A)= \begin{bmatrix} \frac{\partial f}{\partial A_{11}} & \cdots & \frac{\partial f}{\partial A_{1n}}\\\

监督学习

符号定义：