Uitleg
Boosting is een ensemble-methode waarbij modellen sequentieel worden getraind. Elk nieuw model concentreert zich op het corrigeren van fouten die vorige modellen hebben gemaakt. Dit wordt bereikt door hogere gewichten toe te wijzen aan incorrect geclassificeerde voorbeelden.
Populaire boosting-algoritmen zijn AdaBoost en Gradient Boosting. XGBoost is een highly optimized gradient boosting-implementatie die wijd gebruikt wordt in competities en praktijk. LightGBM en CatBoost zijn andere moderne boosting-frameworks.
Boosting is zeer effectief voor het creëren van nauwkeurige modellen, vooral voor gemengde datasets. Het nadeel is dat boosting gevoeliger is voor overfitting dan bagging en meer tijd kost omdat modellen sequentieel worden getraind.
⚡ Voorbeelden
- •XGBoost wint regelmatig Kaggle-competities door effectief fouten te corrigeren
- •Banken gebruiken gradient boosting voor fraude-detectie met zeer hoge nauwkeurigheid
- •Medische diagnostiek gebruikt boosting-modellen voor ziekte-detectie