Uitleg
Foundation models zijn zeer grote modellen getraind op brede datasets die als basis dienen voor veel verschillende taken. Ze zijn meestal zeer generalistisch en kunnen fine-tuned worden voor specifieke applicaties.
Examples zijn GPT-4, BERT, Llama en anderen. Wat ze "foundation" maakt is dat ze transfer learning toelaten: veel specialists kunnen gebaseerd op hen worden gebouwd.
Foundation models hebben AI democratiseerd doordat kleinere organisaties niet volledig vanuit het begin hoeven te trainen.
⚡ Voorbeelden
- •GPT-3 was een foundation model waarop OpenAI ChatGPT bouwde
- •BERT van Google dient als basis voor vele NLP-toepassingen in bedrijven
- •Llama van Meta is open-source foundation model veel bedrijven gebruiken
Trefwoorden
pre-trainedgeneralist-modeltransfer-learning-basisschaalbare-ai