Hva er et kontekstvindu?
Kontekstvinduet er arbeidsminnet til en KI-modell: mengden tekst den kan ta hensyn til når den lager et svar. Det måles i småbiter som kalles tokener, der et token grovt sett er et kort ord eller en orddel. Både spørsmålet ditt, dokumentene du limer inn og hele samtalen så langt må få plass innenfor vinduet.
Blir samtalen eller dokumentet for langt, faller det eldste ut. Modellen sier ikke fra, den bare slutter å ta hensyn til det. Det er derfor en lang samtale kan «glemme» noe du avklarte i starten, og derfor et svært langt dokument kan bli oppsummert med hull.
Vinduene har vokst voldsomt de siste årene. Moderne modeller kan holde hundrevis av sider i hodet samtidig, men grensen finnes fortsatt, og kvaliteten kan synke lenge før den er nådd.
Et hverdagseksempel
En advokat limer inn en avtale på nitti sider og ber om en vurdering av ansvarsbestemmelsene. Med en modell med lite kontekstvindu blir bare deler av avtalen lest, og vurderingen ser komplett ut uten å være det. Med riktig oppsett deles avtalen i bolker som hver får plass i vinduet, og vurderingene settes sammen til slutt. Samme modell, helt annet resultat.
Hvorfor det betyr noe for en mindre bedrift
Kontekstvinduet forklarer mye av det som oppleves som «dumme» KI-svar. Tre praktiske råd følger under. De koster ingenting og hever kvaliteten umiddelbart.