En transformer er byggemåten som nesten alle moderne språkmodeller er laget etter. Arkitekturen ble presentert av forskere i 2017 og er hovedgrunnen til at AI gikk fra klossete tekstforslag til flytende språk på få år.
Det viktigste grepet kalles oppmerksomhet. I stedet for å lese en setning ord for ord ser transformeren hele teksten under ett og vekter hvilke ord som hører sammen. Den forstår at «den» i slutten av en lang epost peker tilbake på fakturaen som ble nevnt i starten, selv med femti ord imellom.
Fordi transformeren behandler mye tekst samtidig, kan den også trenes på enorme mengder data på overkommelig tid. Kombinasjonen av oppmerksomhet og stor treningskapasitet er det som gjorde dagens AI-bølge mulig.
Hvorfor det betyr noe for din bedrift
Du skal aldri bygge en transformer selv. Men når du vet at alle seriøse verktøy står på den samme grunnmuren, blir det lettere å vurdere leverandører. Forskjellen mellom dem ligger sjelden i selve teknikken. Den ligger i hvilke data modellen er trent på, hvor god den er på norsk og hvor ryddig den kobles til systemene dere allerede har.