Hva er RAG?
En språkmodell kan mye om verden generelt, men ingenting om rutinene, avtalene og prislistene i din bedrift. Spør du den om noe internt, kan den finne på et svar som høres troverdig ut. Det kalles hallusinasjon, og det er den største praktiske risikoen ved å bruke slike verktøy alene.
RAG, forkortelse for Retrieval-Augmented Generation, løser dette i to steg. Først søker systemet gjennom dine egne dokumenter og henter de utdragene som er mest relevante for spørsmålet. Deretter får modellen disse utdragene som grunnlag og formulerer svaret ut fra dem, gjerne med henvisning til hvilket dokument svaret kommer fra. Enkelt sagt: slå opp først, svar etterpå.
Det viktige er hva som ikke skjer: dokumentene dine brukes ikke til å trene modellen, og de blir ikke en del av den. De ligger der de ligger, og hentes frem ved behov, omtrent som en dyktig medarbeider som alltid sjekker permen før hun svarer.
Eksempel fra hverdagen
Et regnskapsbyrå har hundrevis av kundeavtaler, interne rutiner og notater fra tidligere år. Med en RAG-basert assistent kan en ansatt spørre hva som er avtalt om fakturering for en bestemt kunde, og få svaret på sekunder, med lenke til avtalen svaret er hentet fra. Før måtte hun lete gjennom mapper eller spørre en kollega som kanskje husket det.
Hvorfor det betyr noe for en mindre bedrift
RAG er den vanligste og tryggeste veien til å få egen nytte av språkmodeller uten å trene noe selv. Å trene en egen modell krever data, penger og spisskompetanse. Et RAG-oppsett gjenbruker dokumentene du allerede har, kan bygges på uker, og svarene kan etterprøves fordi kilden vises. For de fleste bedrifter er dette det naturlige første steget mot en KI-agent som kjenner virksomheten.