Uitleg
Top-p (nucleus sampling) is een manier om output randomheid in taalmodellen te controleren. In plaats van altijd de waarschijnlijkste token kiezen (top-1) of top-k tokens samplen, sampel je uit tokens totdat de cumulatieve waarschijnlijkheid p bereikt.
Dit is flexibeler dan top-k omdat het dynamisch aanpast hoeveel tokens worden overwogen. Als één token zeer waarschijnlijk is, neem die; als waarschijnlijkheden verdeeld zijn, overwegen meer tokend.
Top-p = 0.9 betekent: sampel tot cumulatieve waarschijnlijkheid 90% bereikt is.
⚡ Voorbeelden
- •Top-p 0.9 met temperatuur 1.0 geeft balans tussen coherentie en diversiteit
- •Top-p 0.95 geeft meer randomheid; top-p 0.5 meer deterministisch
- •Veel API's stellen standaard top-p waarden voor verschillende use-cases
Trefwoorden
sampling-strategienucleus-samplingprobabilistische-selectiehyperparameter