Uitleg
Backpropagation is het kernalgoritme voor het trainen van neurale netwerken. Het berekent gradiënten van loss ten opzichte van elk gewicht door de chain rule recursief toe te passen, "teruggaande" via lagen van output naar input.
Backprop werkt in twee stappen: forward pass (bereken output en loss), backward pass (bereken gradiënten en werk gewichten bij). Door gradiënten efficient terug te berekenen, maakt backprop training van diepe netwerken praktisch mogelijk.
Zonder backprop zou training onmogelijk zijn - je zou niet weten hoe elk gewicht het eindresultaat beïnvloedt. Backprop werd populair in 1986 en was cruciaal voor deep learning revolution. Moderne frameworks (PyTorch, TensorFlow) implementeren backprop automatisch.
⚡ Voorbeelden
- •Training van convolutional netwerken voor afbeeldingsherkenning gebruikt backprop
- •Taalmodellen als GPT trainen miljarden parameters met backprop
- •Automatische differentatie in PyTorch berekent backprop-gradiënten
Trefwoorden
chain-rulegradient-berekeninggewicht-updatetraining-algoritme