Uitleg
Knowledge distillation (kennisdistillatie) is een techniek waarbij je een klein "student"-model traint om het gedrag van een groot "teacher"-model na te bootsen. Het doel is om een model te krijgen dat bijna even goed presteert als het grote model, maar veel kleiner en sneller is.
Bij distillatie leert het kleine model niet alleen van de correcte antwoorden, maar ook van de waarschijnlijkheidsverdeling van het grote model. Als het grote model 70% zeker is dat het antwoord A is en 25% dat het B is, leert het kleine model ook die nuance, wat meer informatie oplevert dan alleen het juiste antwoord.
Distillatie is cruciaal voor het praktisch inzetbaar maken van AI. Grote modellen met honderden miljarden parameters zijn te duur en te langzaam voor veel toepassingen. Door distillatie kun je een compact model maken dat op een telefoon of in een browser draait en toch goede resultaten levert.
⚡ Voorbeelden
- •Google distilleert zijn grote Gemini-model tot Gemini Nano, dat op een telefoon kan draaien
- •Een bedrijf distilleert GPT-4 naar een klein model dat specifiek geoptimaliseerd is voor hun klantenservice
- •DistilBERT is een gedistilleerde versie van BERT die 60% kleiner is maar 97% van de prestaties behoudt