过拟合及正则化详解程序员

详情参考斯坦福公开课第三周第7节。

看下图：

                           欠拟合                                               合适                                                          过拟合

         相信看了上面的例子就知道欠拟合与过拟合了。欠拟合不能很好的反应训练集；而过拟合过于强调拟合原始

数据，而丢失了算法的本质：预测新数据。从模型函数角度来说，欠拟合时缺少高次自变量或高次自变量参数过小；

而过拟合则相反，自变量次数太高或参数过大。

        相应的解决办法：1.丢弃一些对正确预测没帮助的特征。 可以手工选择保留哪些特征。

                                     2.正则化，减小参数的大小

       例如，原模型：

                  

                  

                    其中又被称为正则化参数。