L1和L2正则化的基本思想


L1和L2正则化的基本思想

在进入正则化概念之前。仔细查看图 1,我们知道欠拟合或过拟合对我们的模型不利。因此,保持理想平衡的一种方法是减小维度。

L1和L2正则化的基本思想

Figure 1

什么是正则化?

  • 这是一种解决机器学习中过度拟合的方法
  • 过拟合模型无法泛化对测试数据的估计
  • 正则化降低了模型的方差

我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点,即 L1 和 L2。

套索回归 (L1)

它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零,从而降低所有权重的平均大小。同样,在 L2 中,它强制权重要小得多。

L1和L2正则化的基本思想

Figure 2

其中 Lambda 是一个超参数。

我们怎样才能使权重为零?

这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。

L1和L2正则化的基本思想

Figure 3

  • 如果 lambda 值太高——欠拟合
  • 如果 lambda 值低——过拟合

岭回归 (L2)

L1和L2正则化的基本思想

Figure 4

这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。

L1和L2正则化的基本思想

Figure 5

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明

本文链接:https://www.qanswer.top/18548/22460609

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/287896.html

(0)
上一篇 2022年9月6日
下一篇 2022年9月6日

相关推荐

发表回复

登录后才能评论