L1和L2正则化的基本思想
在进入正则化概念之前。仔细查看图 1，我们知道欠拟合或过拟合对我们的模型不利。因此，保持理想平衡的一种方法是减小维度。
Figure 1
什么是正则化？
- 这是一种解决机器学习中过度拟合的方法
- 过拟合模型无法泛化对测试数据的估计
- 正则化降低了模型的方差
我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点，即 L1 和 L2。
套索回归 (L1)
它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零，从而降低所有权重的平均大小。同样，在 L2 中，它强制权重要小得多。
Figure 2
其中 Lambda 是一个超参数。
我们怎样才能使权重为零？
这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。
Figure 3
- 如果 lambda 值太高——欠拟合
- 如果 lambda 值低——过拟合
岭回归 (L2)
Figure 4
这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。
Figure 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
本文链接：https://www.qanswer.top/18548/22460609
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/tech/pnotes/287896.html