Uitleg
Bagging (bootstrap aggregating) is een ensemble-methode die overfitting reduceert door veel modellen parallel te trainen op verschillende subsets van data. Voor elke model wordt een random steekproef van data met vervanging (bootstrap) genomen.
De modellen trainen onafhankelijk. Voor voorspellingen worden voorspellingen van alle modellen gecombineerd: voting voor classificatie, averaging voor regressie. Dit proces reduceert variantie zonder bias toe te voegen.
Random forests zijn een succesvol voorbeeld van bagging: het combineert veel decision trees getraind op bootstrap-samples. Bagging is less computational expensive dan boosting omdat modellen parallel kunnen worden getraind.
⚡ Voorbeelden
- •Random forests gebruiken bagging om variantie van decision trees te verminderen
- •Bagging wordt gebruikt om stabiele voorspellingen te maken voor financiële prognoses
- •Parallelle training van bagging-modellen maakt efficiënt gebruik van meerdere processors
Trefwoorden
bootstrap-samplingparallel-trainingvariance-reductionaggregatie