Uitleg
Emergent gedrag verwijst naar vaardigheden die plotseling verschijnen in grote taalmodellen, zonder dat het model daar expliciet op is getraind. Dit is één van de mysteries van modern AI.
Bijvoorbeelden: zeer grote modellen kunnen plotseling code schrijven, redeneren en talen spreken buiten hun trainingsgegevens. Deze vaardigheden schijnen te "ontstaan" bij bepaalde schaaldrempels.
Emerge gedrag suggereert dat grote modellen diepere inzichten krijgen in de wereld dan we verwacht zouden hebben van hun training-doelstellingen. Dit is nog niet volledig begrepen.
⚡ Voorbeelden
- •GPT-3 kan code schrijven in programmeertalen die voorkomen in trainingsdata maar waarop het niet expliciet is getraind
- •Taalmodellen kunnen onbekende talen "begrijpen" via zero-shot transfer
- •Plotseling kunnen modellen ingewikkelde logische redeneerstappen uitvoeren bij bepaalde grootte-drempels
Trefwoorden
schaaleffectenonverwachte-capaciteitenmysteriesfundamentele-ai