Hva er inferens?
En KI-modell har to helt ulike faser i livet. Først trenes den, én gang, på enorme datamengder. Deretter brukes den, millioner av ganger. Inferens er navnet på bruksfasen: modellen mottar noe inn, tekst, et bilde eller tall, og regner seg fram til et svar ut.
Hver melding du sender til ChatGPT er en inferens. Hver gang et verktøy oppsummerer et dokument for deg, skjer det en inferens. Modellen lærer ingenting nytt i dette øyeblikket. Den bruker bare det den allerede kan, omtrent som en ferdig utdannet fagperson som løser dagens oppgave.
Ordet dukker opp i prislister og tekniske beskrivelser, gjerne som «inferenskostnad» eller «inferenstid». Da handler det rett og slett om hva hvert svar koster og hvor raskt det kommer.
Et hverdagseksempel
Et regnskapsbyrå lar et KI-verktøy lese og sortere innkommende bilag. Hvert bilag som tolkes, er en inferens. Med to hundre bilag om dagen blir det to hundre inferenser, og en månedskostnad som følger volumet. Byrået regner enkelt: tiden en ansatt sparer per bilag mot prisen per tolkning. Regnestykket går klart i pluss, og da er beslutningen lett.
Hvorfor det betyr noe for en mindre bedrift
Inferens er der KI møter driftsbudsjettet ditt. To ting er verdt å huske. For det første prises de fleste KI-tjenester per bruk, så volumet deres avgjør kostnaden. For det andre finnes modeller i ulike størrelser: store modeller gir best svar men koster mer per inferens, små modeller er billige og raske. Riktig løsning bruker en modell som er stor nok for oppgaven, og ikke større.