Når en språkmodell leser eller skriver tekst, jobber den ikke med hele ord. Teksten deles først opp i små biter som kalles tokener. En token kan være et kort ord, en del av et lengre ord eller et tegn. Setningen du skriver, blir altså gjort om til en rekke slike biter før modellen i det hele tatt begynner å arbeide.
Tokener er også måleenheten for nesten alt rundt språkmodeller. Leverandørene priser bruken per token, og hver modell har en grense for hvor mange tokener den kan holde styr på samtidig. Norsk deles ofte i flere tokener enn engelsk, fordi modellene er trent på mest engelsk tekst. Et langt norsk sammensatt ord blir fort tre eller fire biter.
Hvorfor det betyr noe for din bedrift
Litt token-forståelse gjør deg til en bedre innkjøper av AI-tjenester. Når et verktøy tilsynelatende glemmer starten av en lang samtale, er det fordi grensen for tokener er nådd. Når regningen vokser, er det fordi dokumentene er lange. Da vet du hva du skal spørre leverandøren om, og hva som er rimelig å forvente.