Hvilke AI-verktøy fungerer faktisk på norsk?

Skriving på bokmål: bedre enn ryktet

La oss begynne med det som fungerer. De største modellene bak ChatGPT, Claude og Gemini skriver i dag flytende bokmål. Utkast til e-post, oppsummering av lange dokumenter, omskriving av tunge avsnitt og forslag til struktur løser de så godt at de fleste blir overrasket i første møte. For vanlig kontortekst er norsk ikke lenger noen reell begrensning i toppmodellene.

Svakhetene ligger et hakk dypere. Setningsbygningen kan bli engelsk med norske ord, med oppstyltede innledninger og vendinger ingen norsk skribent ville valgt. Faste uttrykk treffer oftere feil enn på engelsk. Og nynorsk er gjennomgående svakere enn bokmål, med bøyingsfeil selv i de beste modellene. Skal bedriften kommunisere på nynorsk, må alt leses grundigere før det sendes.

Gapet vokser når modellene krymper

Det viktigste funnet er ikke forskjellen mellom verktøyene, men forskjellen mellom store og små modeller. Toppmodellene skriver godt norsk. De små og billige modellene, som ofte driver AI-funksjonene bygget inn i andre programmer, tipper fort over i oversetter-norsk og rene grammatikkfeil. På engelsk er de samme små modellene helt brukbare. Gapet mellom engelsk og norsk vokser altså jo mindre modellen er.

Det har en konkret konsekvens for innkjøp: et verktøy som imponerte i en engelsk demonstrasjon, kan skuffe når de ansatte tar det i bruk på norsk. Og et abonnement som gir tilgang til toppmodellen, kan være forskjellen på tekst som kan sendes og tekst som må skrives om. Hvilket abonnement som passer hvilke oppgaver, har vi skrevet mer om i sammenligningen av Copilot, ChatGPT og Claude.

Tale til tekst: godt på bokmålsnær tale, verre på dialekt

Transkribering av norsk tale er blitt påfallende bra. De fleste møteverktøy bygger på samme type talegjenkjenning, og Nasjonalbibliotekets arbeid med norske talemodeller har vist hvor godt resultatet blir når modellene trenes på norsk materiale. Klar tale og bokmålsnær dialekt gir få feil. Brede dialekter, fagord og folk som snakker i munnen på hverandre gir flere. Navn og tall er det som oftest blir feil, og det er også det som gjør mest skade i et referat. Regelen er enkel: en transkripsjon er et utkast, ikke en fasit. Verktøyene og reglene for møteopptak har vi samlet i artikkelen om møtereferater.

Der det fortsatt bommer

• Tekst i bilder: bildegeneratorer roter fremdeles med æ, ø og å. Norske plakater og annonser med generert motiv må få teksten lagt på i etterkant.
• Norsk fagterminologi: begreper fra jus, regnskap og helse har presist innhold som modellene kan gjengi upresist. La en fagperson lese over.
• Norske forhold: spørsmål om norske lover, satser og lokale forhold besvares oftere med gjetning enn tilsvarende engelske spørsmål. Etterprøv alt som skal brukes i beslutninger.

Slik tester du selv

Ikke stol på leverandørens eksempler eller på våre generelle vurderinger. En test på egne oppgaver tar to uker og gir svar som gjelder akkurat deres hverdag:

• Test med egne tekster og egne oppgaver, ikke ferdige eksempler.
• Be verktøyet skrive om noe dere kan godt faglig, og vurder presisjonen.
• Les med språkblikk: låter det som norsk, eller som en oversettelse?
• La en språkbevisst kollega vurdere resultatene, ikke bare den mest teknologiinteresserte.
• Kjør testen på ekte arbeid i to uker, og noter hvor det treffer og hvor det bommer.

Hva det betyr for valget

Konklusjonen er ikke at ett verktøy vinner på norsk. Konklusjonen er at norsk er blitt godt nok i toppmodellene til daglig bruk, at de billige utgavene ikke er det, og at kvaliteten må testes på deres egne oppgaver før dere binder dere. Og verktøy uten folk som behersker dem gir lite: i praksis er det opplæringen som avgjør om gevinsten faktisk kommer.