Uitleg
Temperatuur is een hyperparameter in taalmodellen die de randomheid van output controleert. Lage temperatuur (bijv. 0.1) maakt output deterministisch; hoge temperatuur (bijv. 2.0) maakt het willekeuriger.
Mathematisch schaalt temperatuur de logits (voorkeuren) voor volgende tokens: lage temperatuur verscherpt voorkeuren, hoge temperatuur vereffent ze.
Templatuur selectie hangt van taak af: voor Q&A wil je lage temperatuur; voor creatief schrijven hoger.
⚡ Voorbeelden
- •Temperatuur 0 = altijd most-likely woord = deterministisch
- •Temperatuur 0.5 = voorzichtig random, betere balans voor meeste taken
- •Temperatuur 2 = zeer willekeurig, bruikbaar voor brainstorming
Trefwoorden
hyperparameterdeterminismerandomnessoutput-control