Finjustering av språkmodeller

Hva er finjustering?

Store språkmodeller er litt som legoklosser. Når man har trent opp én modell, kan den trenes videre på andre data.

I denne artikkelen så vi at en språkmodell først trenes opp på enorme mengder tekst for å lære språk generelt. Resultatet er en såkalt basemodell. Men en basemodell er som en generalist – den kan litt om alt, men er ikke spesialisert på noe bestemt. Finjustering handler om å gjøre denne generalisten til en spesialist.

Finjustering (fine tuning) av en språkmodell innebærer at man oppdaterer vektene i modellen, enten bare noen få eller alle, sånn at den blir litt bedre tilpasset de nye dataene den får. En finjustert modell er altså en permanent endring av modellen. Vi kan si at vi endrer modellens langtidsminne.

Dette er ikke det samme som å gi en praterobot mer kontekst eller la den søke i en database.

Forskjellen er viktig: Når du limer inn et dokument i ChatGPT og ber den svare basert på det, har du gitt modellen mer kontekst. Modellen husker dette bare så lenge samtalen varer. Når du finjusterer en modell, derimot, endrer du selve modellen permanent – den «baker inn» den nye kunnskapen i vektene sine.

Hvorfor finjustere?

Fordelen med dette kan være å tilpasse den bedre til et bestemt språk. For eksempel kan man videretrene en stor engelsk modell med norske data for å gjøre den bedre til å forstå norsk språk. En annen mulighet er å videretrene den med data fra et bestemt faglig domene.

Det finnes flere grunner til at man ønsker å finjustere en språkmodell:

• Språktilpasning: De fleste store språkmodellene er trent på mest engelsk tekst. Ved å finjustere med norske data, kan modellen bli vesentlig bedre til å forstå og skrive norsk. Dette har blitt gjort med enkelte av NorMistral-modellene – man har tatt utgangspunkt i den franske Mistral-modellen, og finjustert den med norske tekster.
• Fagtilpasning: En modell kan finjusteres med tekster fra et bestemt fagområde – for eksempel medisin, jus eller pedagogikk – slik at den gir mer presise og relevante svar innenfor dette feltet.
• Oppgavetilpasning: Man kan finjustere en modell til å bli spesielt god på en bestemt type oppgave, som å klassifisere tekster, oppsummere dokumenter eller svare på spørsmål i et bestemt format.
• Atferdstilpasning: Instruksjonstrening og forsterkningslæring (som vi så i denne artikkelen) er også former for finjustering. Det er dette som gjør at en basemodell, som i utgangspunktet bare gjetter neste ord, lærer å føre samtaler og følge instruksjoner.

Eksempler på finjustering

NorMistral 7B-warm ble utviklet ved Universitet i Oslo og Nasjonalbiblioteket. Den er et eksempel på finjustering i praksis. Utgangspunktet var Mistral-7B-v0.1, en åpen fransk språkmodell. Denne ble videretrent på store mengder norsk tekst, slik at modellen ble vesentlig bedre til å forstå og produsere norsk. Legg merke til at den norske modellen har samme størrelse som den franske basemodellen selv om den har blitt finjustert.

Finjustering betyr ikke at man legger til nye parametere, selv om man i enkelte tilfeller kan gjøre det også. Det betyr at man justerer de parameterne som allerede finnes. Tenk på det som å stemme et piano: Instrumentet blir ikke større av å bli stemt, men det låter bedre til den musikken du vil spille. På samme måte har NorMistral-7B-warm like mange parametere som Mistral-7B-v0.1, men vektene er justert slik at modellen fungerer bedre på norsk.

I noen tilfeller kan en finjustert modell til og med bli mindre enn modellen den bygger på. Det finnes teknikker for å «destillere» en stor modell ned til en mindre — omtrent som å la en erfaren lærer undervise en elev. Den lille modellen lærer det viktigste fra den store, uten å bære med seg alt. Resultatet kan være en modell som er både mindre og bedre tilpasset en bestemt oppgave.

Det kanskje mest kjente eksempelet på destillering er DeepSeek-R1-distill-modellene, som ble sluppet i januar 2025. DeepSeek-R1 er en enorm kinesisk språkmodell med over 600 milliarder parametere. Denne modellen ble brukt til å finjustere mye mindre modeller — ned til bare 1,5 milliarder parametere. Resultatet var oppsiktsvekkende: Den destillerte 32B-varianten gjorde det bedre enn flere modeller som var langt større.

Finjustering vs. kontekst – en viktig forskjell

Det kan være lett å blande sammen finjustering med andre måter å tilpasse en språkmodell på. Her er en oversikt:

• Gi mer kontekst (for eksempel lime inn et dokument i chatten): Modellen får midlertidig tilgang til informasjonen. Ingen varig endring. Konteksten forsvinner når samtalen er over.
• RAG (la modellen søke i en database): Modellen slår opp informasjon i en ekstern kilde når den trenger det. Ingen endring av selve modellen. Informasjonen i databasen kan oppdateres uten å trene modellen på nytt. (Det kommer snart en artikkel med mer om RAG.)
• Finjustering: Modellens vekter oppdateres permanent. Den «kan» noe nytt etter finjusteringen – men kan ikke enkelt «avlæres» det igjen. Dette krever treningsdata og regnekraft.

Alle tre tilnærmingene har sine bruksområder. For de fleste lærere og skoleledere er det mest relevant å forstå forskjellen, snarere enn å gjøre finjustering selv.

Deler av denne artikkelen er redigert ved hjelp av KI-verktøyet Claude. Teksten er etterpå bearbeidet av FIKS og lest gjennom av forfatteren.

Kilde og videre lesing

Alammar, J. og Grootendorst, M. (2024). Hands-On Large Language Models, O'Reilly Media, Inc.: : https://www.oreilly.com/library/view/hands-on-large-language/9781098150952/