Uitleg
Een context-window (of context-lengte) is het maximale aantal tokens dat een taalmodel in één keer kan verwerken. Het bepaalt hoeveel tekst het model tegelijk kan "zien" en gebruiken om antwoorden te genereren.
Context-windows zijn belangrijk voor gebruikerservaringen. Een klein context-window betekent dat het model lange documenten niet kan analyseren of langere conversaties kan vergeten. Vroege modellen hadden slechts 512 tokens, wat zeer beperkt was.
Moderne modellen hebben aanzienlijk grotere context-windows. GPT-4 kan 8.000 tot 128.000 tokens verwerken, en Anthropic's Claude ondersteunt 100.000 tokens. Grotere context-windows stellen modellen in staat om hele boeken te analyseren, lange emailketens na te volgen en beter lange-termijn coherentie te behouden.
⚡ Voorbeelden
- •Een model met 2K context-window kan maximaal 2.000 tokens in een conversatie verwerken voordat het informatie vergeet
- •Met GPT-4's 128K context-window kun je een hele roman inplakken en vragen stellen over plot-elementen
- •Lange onderzoekspapers vereisen modellen met grote context-windows omdat anders belangrijke context verloren gaat