L1和L2正则化的基本思想
在进入正则化概念之前。仔细查看图 1,我们知道欠拟合或过拟合对我们的模型不利。因此,保持理想平衡的一种方法是减小维度。
Figure 1
什么是正则化?
- 这是一种解决机器学习中过度拟合的方法
- 过拟合模型无法泛化对测试数据的估计
- 正则化降低了模型的方差
我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点,即 L1 和 L2。
套索回归 (L1)
它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零,从而降低所有权重的平均大小。同样,在 L2 中,它强制权重要小得多。
Figure 2
其中 Lambda 是一个超参数。
我们怎样才能使权重为零?
这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。
Figure 3
- 如果 lambda 值太高——欠拟合
- 如果 lambda 值低——过拟合
岭回归 (L2)
Figure 4
这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。
Figure 5
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明
本文链接:https://www.qanswer.top/18548/22460609
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/287896.html