一、基本原理
AdaBoost是adaptive boosing的缩写，它是一种基于Boosting框架的算法。下图为该算法的迭代过程。
AdaBoost从原始数据集D1开始学习第个模型，经过三轮的迭代，得到三个弱分类器，每一轮的迭代都要评估下模型的分类误差，在一轮时把分错的样本进行加权，最后把三个分类器按照一定的权重组合起来得到一个强分类器。
从上图可以看出，每一个弱分类器的模型都很简单，示例图中的它们只是一个一层的决策树，每一个弱分类器在融合的时候都有一个权重，三个弱分类器融合后，变成一个能力更强的复杂模型。
由上图可知，AdaBoost是由多个弱分类器组成，每次由一个弱分类器训练数据集，然后把这个训练器分错的数据集权重加大，没分错的减小权重，再由下一个弱学习器训练这个数据集，这样一直迭代下去，最后融合成一个最强的学习器。
AdaBoost算法构建过程，
1、假设训练集T = ｛（X1,Y1）,（X2,Y2）……（Xn,Yn）｝
2、初始化训练数据权重分布，
D1 = (Wl1,Wl2……Wln)，Wli = 1/n,i=1,2……n
3、使用具有权值分布的Dm的训练集学习，得到基本分类器
4、计算Gm(x)在训练集上的分类误差
5、计算Gm(x)模型的权重系数am
6、权重训练集的权值分布
7、这里Zm是规范化因子（规一化）
8、构建分类器的线性组合
9、得到最终分类器
AdaBoost算法推导
算法的直观理解
AdaBoost小结
1、AdaBoost是一种Boosting的融合算法，它通过级联的方式，把一系列的弱学习模型融合在一起变成一个强分类器。
2、AdaBoost既可以做分类，也可以做回归
3、AdaBoost做分类模型的时候，默认的基学习类型是决策树。
4、AdaBoost的多个子模型通过加权求和的方式融合，并不是简单的求平均，子模型的权重取决于子模型的误差率大小，误差率越小，权值越大
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/309217.html