Hva er en embedding?
Datamaskiner regner, de leser ikke. Skal en maskin jobbe med tekst, må teksten først gjøres om til tall. En embedding, på norsk gjerne kalt innbygging, er en slik oversettelse: setningen blir et punkt i et stort tallrom, plassert slik at tekster med lignende mening havner nær hverandre. «Fakturaen er forfalt» og «regningen er ikke betalt» blir naboer, selv om de ikke deler et eneste ord.
Dette er motoren i søk etter mening, og i chatroboter som svarer fra bedriftens egne dokumenter. Når noen stiller et spørsmål, gjøres spørsmålet om til et punkt i det samme rommet, og systemet henter tekstbitene som ligger nærmest. Språkmodellen skriver deretter svaret med de tekstbitene som grunnlag.
Derfor er slike løsninger aldri bedre enn hentingen i bunn. Finner systemet feil tekstbiter, skriver modellen et velformulert svar på feil grunnlag.