Uitleg
Een activatiefunctie is een wiskundige functie die wordt toegepast op de output van een neuron. Het bepaalt de uiteindelijke output van het neuron en voegt cruciale non-lineariteit toe aan neurale netwerken.
Populaire activatiefuncties zijn ReLU (rectified linear unit), sigmoid, tanh, en leaky ReLU. ReLU is momenteel populair vanwege snelheid en effectiviteit. Sigmoid en tanh zijn klassiek en geven waarschijnlijkheden (0-1).
Zonder activatiefuncties zouden lagen van neurale netwerken gewoon lineaire transformaties doen - geen beter dan één lineaire laag. Activatiefuncties maken neurale netwerken universele approximators. Keuze van activatiefunctie beïnvloedt training-snelheid en convergentie.
⚡ Voorbeelden
- •ReLU: f(x) = max(0, x) zeer populair in moderne netwerken
- •Sigmoid: f(x) = 1/(1+e^-x) voor output-laag van binary classification
- •Tanh: f(x) = (e^x - e^-x)/(e^x + e^-x) vergelijkbaar met sigmoid maar symmetrisch
Trefwoorden
non-lineariteitfunctiesneuronen-outputuniversal-approximator