task2 回归

找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值

2.1 线性模型：

input x: featrue

w: weight

b: bias

2.2 损失函数(Loss Function)

损失函数的作用是衡量参数的好坏

线性模型中损失函数用真实的output和Function预测的output的平方差之和表示

2.3 梯度下降(Gradient Descent)

如何找到使得损失最小的参数，最简单的办法就是遍历所有的参数。梯度下降算法可以减少计算量，快速求出损失最小时的参数

梯度下降算法就是不断求Loss Function关于这个参数的偏导，然后更新w的过程

求导可以理解为求这个曲线当前点的斜率，如果大于0，这是个增函数，我们需要往左边移动；如果小于0，代表函数是递减的，我们需要往右边移动

n是学习率，表示梯度下降的速度

以Function
为例

要注意局部最优点，局部最优不是全局最优，我们需要的是全局最优的点

如果引入参数b，则我们也要求Loss Function关于b的偏导，并更新b

2.4 过拟合与欠拟合

预测宝可梦的CP

复杂的Function在训练集上表现良好，但是在测试集中损失较大，造成过拟合(Overfitting), 太简单的Function在训练集上表现很差，造成欠拟合

过拟合：

预测不同种类宝可梦的CP

每个种类对应一个Function

可以将不同种类的Function进行合并

预测结果还行

样本引入更多的参数 也可能导致过拟合

2.5 正则(Regularization)

更多特征，但是权重w可能会使某些特征权值过高，仍旧导致overfitting，所以加入正则化

引入