Uitleg
Batch-size is een hyperparameter die je instelt vóór training. Je kunt parameters aanpassen na elk voorbeeld (batch-size 1), of na groepen van 32, 64, 256 voorbeelden, enzovoort.
Groter batches: sneller trainingssnelheid, stabieler gradiëntupdates, meer geheugengebruik. Kleinere batches: langzamer training, noisier updates, minder geheugengebruik.
Een typische batch-size is 32 of 64 voor afbeeldingen, en groter voor tekstdata. De juiste batch-size hangt af van je hardwarebeperkingen en modelkenmerken. Te kleine batches kunnen noisy training geven; te grote kunnen in lokale minima vast komen te zitten.
⚡ Voorbeelden
- •Batch-size 32: update parameters na elk 32 voorbeelden
- •Batch-size 1 (stochastische): update parameters na elk voorbeeld (noisy)
- •Batch-size = gehele dataset (batch): update parameters na hele dataset (stabiel maar langzaam)
Trefwoorden
hoeveelheidvoorbeeldenparallelgeheugenupdate