集成學習

[1]簡介

[2]Boosting

個體學習器之間存在強依賴關係，一系列個體學習器基本都需要串列生成，代表演算法是boosting系列演算法，關注偏差，故可以將弱學習器集成為強學習器。

{1}adaboost

(3)權值分布的更新

[3]Bagging與隨機森林

個體學習器之間不存在強依賴關係，一系列個體學習器可以並行生成，代表演算法是bagging和隨機森林（Random Forest）系列演算法，關注方差，對於易受樣本擾動的學習器效果更明顯。

為使各基學習器不同，可以對樣本進行採樣，產生不同的子集，再根據各子集訓練出的基學習器不同。但每個子集又不能完全不同，否則每個基學習器只用了部分數據，不能體現總體，於是採用有相互交疊的樣本子集。

{1}Bagging

{2}隨機森林

[4]結合策略

得到了各基學習器的結果，如何集成這些結果得到最後的預測結果。

{1}平均法

{2}投票法

{3}學習法