Åpne og lukkede språkmodeller

Lukkede modeller

Du har sikkert forsøkt flere ulike språkmodeller, f.eks. ChatGPT eller Gemini. Dette er lukkede språkmodeller som er eid av store firmaer som OpenAI og Google. Disse er ofte store, fungerer godt og gir gode svar. Ulempen er at vi gjerne må betale en god del for å bruke de beste modellene. Dessuten vet vi ikke hvilke data de er trent opp på eller hvilke innstillinger som ble brukt. Vi kan heller ikke videretrene («finjustere») dem med egne data.

Mange av dem tilbyr oss å laste opp dokumenter eller lage lange systemledetekster, men dette er noe annet og ikke egentlig trening av en modell. Det er bare en måte å gi den mer kontekst uten en varig endring av parameterne.

Se mer om dette i denne artikkelen om RAG.

Vi sier at de er lukkede fordi vi ikke får bruke dem fritt til det vi vil og fordi vi ikke kan vite hvordan de har blitt trent opp. Vi kan sammenligne dem med programmer som vi må betale for og ikke får lov til å endre – for eksempel Microsoft Windows.

Fordeler og ulemper med lukkede modeller

Fordeler:

• De største og mest avanserte modellene er ofte lukkede. De fungerer godt «rett ut av boksen» og krever ingen teknisk oppsett.
• De er enkle å ta i bruk – du går til en nettside, logger inn og begynner å bruke dem.
• Selskapene bak oppdaterer og forbedrer modellene løpende.

Ulemper:

• Du vet ikke hva modellen er trent på. Innholdet i treningsdataene kan påvirke svarene på måter du ikke kan kontrollere.
• Dataene du sender inn behandles av et eksternt selskap. Dette kan være problematisk når det gjelder personvern og sensitive opplysninger.
• Du kan ikke tilpasse modellen til egne behov gjennom finjustering.

Åpne modeller

De åpne modellene er ofte mindre enn de lukkede og brukes i større grad til forskning og utvikling. De er fritt tilgjengelige for bruk og videretrening og som oftest er det full åpenhet om både hvilke data de er trent på, hvilken arkitektur og hvilke innstillinger som ble brukt. Der vi sammenlignet de lukkede språkmodellene med operativsystemet MS Windows, kan vi sammenligne de åpne med Linux.

De fleste åpne språkmodeller krever at man har tilgang til en kraftig PC med et godt grafikkort for å bruke dem, men noen har prateroboter man kan interagere med via nettsider på samme måte som de store kommersielle. Et eksempel er norske NorMistral-11B-thinking som man kan prøve her.

De åpne språkmodellene lages både av universiteter, andre forskningsmiljøer og kommersielle aktører. De første GPT-modellene til OpenAI – GPT og GPT-2 – var åpne modeller, men OpenAI bestemte seg seinere for å lukke modellene. Google har et åpent alternativ til Gemini som heter Gemma. Her er noen eksempler på åpne modeller:

• Llama – generativ språkmodell trent opp av Meta
• DeepSeek – generativ språkmodell fra et kinesisk selskap
• Mistral – generativ språkmodell trent opp av et fransk selskap
• NorMistral – en norsk modell som bruker samme arkitektur som Mistral. Den største heter NorMistral-11B og kan prøves her. 

De fleste åpne språkmodeller legges ut på siden https://huggingface.co. De kan fritt lastes ned og brukes av alle som har en kraftig nok PC. Selv om det kan være tungvint og tregt å kjøre disse modellene på eget utstyr, er den store fordelen at man kan ha full kontroll på data og innstillinger. Dersom man har lastet ned modellene, kan man til og med gjøre dette uten å være koblet til internett.

Mange av de åpne modellene finnes også som prateroboter på nettet og her har man ikke den samme kontrollen. Et eksempel på dette er kinesiske DeepSeek, der prateroboten vil kunne sensurere flere svar, noe som en modell man kjører lokalt ikke gjør.

Dette eksempelet viser noe viktig: en «åpen» modell er ikke det samme som en «fri» tjeneste. Selve modellen kan være åpen, men nettjenesten som tilbyr den kan likevel ha begrensninger. Skillet går mellom modellen og tjenesten eller nettsiden du bruker.

Fordeler og ulemper med åpne modeller

Fordeler:

• Full åpenhet om treningsdata, arkitektur og innstillinger.
• Du kan kjøre modellen lokalt og beholde full kontroll over dataene – ingenting sendes til et eksternt selskap.
• Du kan finjustere modellen til egne behov, for eksempel tilpasse den til et bestemt fagområde eller språk.
• Modellene er gratis å bruke.

Ulemper:

• De er ofte mindre og noe svakere enn de beste lukkede modellene.
• De krever teknisk kompetanse og kraftig maskinvare for å kjøre lokalt.
• Modellene er ikke alltid like brukervennlige som de kommersielle tjenestene.

Deler av denne artikkelen er redigert ved hjelp av KI-verktøyet Claude. Teksten er etterpå bearbeidet av FIKS og lest gjennom av forfatteren.

Kilde og videre lesing

Alammar, J. og Grootendorst, M. (2024). Hands-On Large Language Models, O'Reilly Media, Inc.: : https://www.oreilly.com/library/view/hands-on-large-language/9781098150952/