Norsklærer versus chatbot - Kvalitet på praterobotens tekstrespons i norskfaget

^{Denne teksten er tidligere publisert i tidsskriftet Norsklæreren. En endret verson av artikkelen er publisert i Utdanningsnytt.}

Bakgrunn

Vi kjenner igjen kveldene, helgene og feriene med tunge sukk over endeløst responsarbeid. Oppfølging for å utvikle elevers skrivekompetanse kan synes som et regnestykke som ikke går opp. Forskningen forteller at elevene bør få respons underveis i skriveprosessen dersom den skal fungere, og vurderingsforskere anbefaler mappevurdering. Begge deler er svært arbeidskrevende for norsklæreren, som er den best kvalifiserte til å gi tilpasset og selektiv tekstrespons. Anbefalinger om god vurderingspraksis kommer i konflikt med norskfagets tvingende omstendigheter. 30 eller flere elever i klassene er en hard realitet som pedagogiske idealer ikke kan overkomme. Omfanget av tekstvurdering er derfor et påtrengende problem for norsklærere og for elevenes skrivekompetanse.

Samtidig saumfarer KI-aktører skolen etter problemer å løse. Kan kunstig intelligens løse vurderingsknuten i norskfaget? Er ikke en vurderingsrobot selve svaret på norsklærerens behov? Maskinvurdering er ikke science fiction lenger. Generativ kunstig intelligens (GKI) kan gi tilbakemeldinger på elevtekster, og det finnes forskning som forteller oss at feedback fra GKI kan fremme skriveutviklingen (Engeness, 2025, Burner et al, 2025). En mye sitert artikkel belegger dessuten en påstand om at GKI gir nesten like god tekstrespons som lærere (Steiss et al, 2024).

For godt til å være sant? Det er i hvert fall verdt å undersøke nærmere, synes vi, tre norsklærere og en forsker. I et samarbeidsprosjekt mellom FIKS ved UiO og Osloskolen har vi dykket dypere i påstander om GKI som redskap for formative tilbakemeldinger på elevtekster. Med lang fartstid som norsklærere i videregående skole, og med vurdering av noen tusen elevtekster på baken, har vi fordelen av bred, erfaringsbasert vurderingskompetanse. Vi har alle deltatt i den store bakhtinske samtalen om vurdering av norskfaglige tekster, som sensorer og som del av tolkningsfellesskap på egne skoler, og på tvers av skoler. Formålet med å trekke frem erfaringen vår, er en tro på at faglærere fra innsiden av klasserommet må delta i vurderingen av nye KI-ressurser. Kommersielle KI-leverandører vil gjerne vise frem egne produkters fortreffelighet, også i skriveopplæringen. Men en presentasjon av et KI-verktøys glansnumre er ikke tilstrekkelig for å få innsikt i hvordan de egentlig fungerer.

I denne artikkelen vurderer vi kvaliteten på formative tilbakemeldinger på elevtekster, gitt av en prepromptet (forhåndsprogrammert) chatbot¹. Det er relevant å undersøke en chatbots evne til å gi tilbakemelding på tekster skrevet i en av fagets hovedsjangre og som lærere bruker mye tid på å vurdere. I dette tilfellet har vi vurdert chatbotens formative tilbakemeldinger på tre elevtekster skrevet i sjangeren retorisk analyse.

En viktig avklaring er at vi ikke har testet chatbotens evne til å sluttvurdere med karakter. Det må være lærerens jobb. Vi ser derimot på en tilpasset tilbakemeldings-bot som en mulig ressurs for eleven å bruke underveis i en skriveprosess. Eleven bruker allerede en rekke ressurser i skrivearbeidet, som ordbøker, oppslagsverk, kildemateriale, læreren, medelever osv. Kan en tilpasset chatbot fungere som en ressurs eleven selv kan ta i bruk, som en avlastning for læreren, og som redskap for å øke elevenes skrivekompetanse?

Planlegging og gjennomføring

Forsøket vårt startet i en vg3-klasse i Oslo våren 2025. Tidspunktet gjorde det naturlig å undersøke bruk av chatboten som forberedelsesverktøy til eksamen i norsk skriftlig. Ved hjelp av Osloskolens KI-løsning, laget vi en chatbot med en detaljert systemprompt, heretter kalt TM-boten (tilbakemeldingsboten). En systemprompt er en tekst som er usynlig for chatbot-brukeren og som gir instrukser om hvordan chatboten skal respondere, og hva den skal respondere på. Prompten ble testet og justert i mange iterasjoner. Systemprompten, sammen med en redegjørelse for hvordan den er utformet og utviklet, er å finne ved å skanne lenka til slutt i artikkelen. Prompten inneholder mye fagspesifikt innhold om den retoriske analysen, i tillegg til føringer for hvordan chatboten skulle respondere og interagere med elevene. Blant annet er den hardt instruert til ikke å skrive tekst for elevene, eller til å komme med «tekstforslag». Innholdet i systemprompten omfattet ellers følgende:

• Sjangernormer for «retorisk analyse», en av hovedsjangrene i norskfaget på vg3 i videregående skole
• Definisjoner og utdypinger av sentrale fagbegreper. Blant annet er definisjoner og begreper knyttet til «retorisk situasjon» lagt inn
• Vurderingskriterier og beskrivelser av kriterier for høy måloppnåelse i sjangeren
• Føringer om hvor i teksten chatboten skulle gi tilbakemelding: både løpende i elevbesvarelsen, og i form av en formativ sluttkommentar
• Føringer for, og forsterkninger av hva chatboten skulle vektlegge i responsen, med vekt på sjangernormer og viktige fagbegreper i den retoriske analysen
• Føringer om interaksjonen, for eksempel at chatboten skulle be eleven om å stille oppfølgingsspørsmål til tilbakemeldingene, at den skulle nekte å skrive tekst for eleven, med mer

Et viktig poeng var å teste ut en norskfaglig, smal, styrt og målrettet chatbot, foret med tilstrekkelig faglig kontekst. Chatboten vi har laget, kan dermed bare brukes til å gi tilbakemeldinger på retoriske analyser. Det begrenser bruksområdet, men samtidig kan vi se for oss at man kan lage flere tilpassede chatboter, for eksempel en for hver av norskfagets hovedsjangre på vg3.

Prosjektet som helhet var delt i to, der vi i Prosjekt 1 søkte elevperspektivet på å få tilbakemeldinger fra en prepromptet chatbot. I det følgende konsentrerer vi oss imidlertid om del 2, som omfattet fire erfarne norsklæreres vurderinger av chatboten (inkludert forskeren, som har lang erfaring som norsklærer). I de to prosjektene benyttet vi oss av flere av de samme ressursene. Disse omfattet den usynlige systemprompten², men også en rammeprompt, det vil si en slags skriveramme for tekst som elevene skulle fylle ut og dele med chatboten.

Rammeprompten er gjengitt nedenfor. Inn i denne la elevene inn følgende (i klammene): 

a) tre prioriterte områder de ønsket tilbakemeldinger på

b) oppgaveteksten  

c) vedleggsteksten (analyseobjektet) 

d) sin egen besvarelse

I vurderingen vår av TM-boten i Prosjekt 2, brukte vi en noe justert systemprompt (se fotnote 2), den samme rammeprompten som i Prosjekt 1 og tre elevbesvarelser.

Vi ville undersøke hvor god TM-boten var til å vurdere og å gi respons på en sjangertekst med sjangernormer utviklet i norskfaglig kontekst. Sjangeren «retorisk analyse» ble sjangeren vi gikk videre med, for å kunne gjenbruke ressurser fra Prosjekt 1. Fremgangsmåten var som følger:

1. Hver for oss vurderte vi elevenes tekster grundig for å få opp en «profil» av nivået, styrker og svakheter i tekstene, eller det Steiss et al kaller «essential features» (2024). Vi valgte også ut prioriterte tilbakemeldinger til hver tekst, med utgangspunkt i at tekstrespons bør være selektiv (Kvithyld og Johannessen, 2011). Denne jobben gav et svært viktig grunnlag for å kunne vurdere TM-botens output.
2. Vi kopierte og limte inn oppgaveteksten, vurderingsområder eleven ønsket tilbakemelding på, vedleggsteksten og elevens besvarelse.
3. Så fulgte en vurdering av chatbotens respons. Fortsatt individuelt, sammenliknet vi våre egne tilbakemeldinger og vurderinger med chatbotens.
4. Deretter møttes vi og sammenliknet først våre individuelle vurderinger av elevtekstene. Selv om ingen av oss er vurderingsforskere, påstår vi at det var godt samsvar mellom våre løpende tilbakemeldinger, sluttkommentarer, selektive respons på tekstenes styrker og svakheter, og mellom vurderingene våre av tekstenes faglige nivå.
5. Til slutt vurderte vi responsen på de tre besvarelsene fra chatboten.

Norsklærere versus chatbot. Våre vurderinger

Det er mye å si om TM-botens vurderinger. Vi kan starte med at den løpende responsen i teksten og sluttkommentaren ved første øyekast ser imponerende ut. Men det er gjentakende at når vi skraper på overflaten, avsløres det stor variasjon i hvor meningsfulle kommentarene er. Noen kommentarer treffer greit, noen er misvisende, og andre fremstår som innholdstomme og papegøyeaktige. Før gjennomgang av noen eksempler, er det verdt å nevne at analyseobjektet i skriveoppgaven var debattinnlegget «Samfunnsfienden», skrevet av leder i foreningen FRI i Rogaland, Caroline Skarstein. Skarstein skriver om medias fremstilling av transdebatten. Oppgaven var formulert etter modell av en eksamensoppgave siden den aktuelle skrivesituasjonen i Prosjekt 1 var en forberedelse til eksamen i norsk hovedmål.

TM-botens sluttkommentar

Her er en sammenlikning av lærernes og TM-botens oppsummerende sluttkommentarer til en av besvarelsene. Merk at andre norsklærere og ikke eleven er målgruppa i vår kommentar:

Vår vurdering: Vi ser at det er ganske store forskjeller i hva TM-boten prioriterer å trekke frem, i forhold til norsklærerne. I TM-botens oppsummerende sluttkommentar ser vi at den «etterlikner» formativ respons, men den klarer etter vårt syn ikke å fange besvarelsens viktigste styrker og svakheter. Noen av rådene er vi uenige i, som at eleven bør dele opp teksten i kortere avsnitt. Andre er typiske tilbakemeldinger på en retorisk analyse, men likevel generiske, som når TM-boten etterlyser grundigere analyser av appellformene.

Vår vurdering er at eleven i liten grad gjør greie for den retoriske situasjonen, som er eksplisitt nevnt i vurderingskriteriene. Dette trekket nevnes ikke av chatboten. Elevens analyse er generelt ganske kort og overfladisk. Omtale av hvordan teksten appellerer ved hjelp av logos er så å si fraværende, noe chatboten ikke kommenterer. Riktignok ber den eleven om å gjøre grundigere analyser av etos, logos og patos, men denne tilbakemeldingen skiller ikke mellom hvordan eleven behandler de tre bevisformene. Noen steder er elevens språk og begrepsbruk uklar i besvarelsen, og noen setninger er ugrammatiske og/eller svært tunge. Dette er sentrale trekk ved teksten som TM-boten burde ha reagert på. Den klarer heller ikke å fange besvarelsens styrker, som blant annet er en balansert fremstilling av et innlegg i en betent sak.

TM-botens tilbakemeldinger i løpende tekst

Nedenfor følger et eksempel på en misvisende kommentar, noe vi så mange eksempler på. Teksten markert med blått er chatbotens tilbakemelding.

Vår vurdering: Chatbotens etterlysning av en utdypning passer ikke inn i denne delen av teksten der eleven skriver innledende om debattinnleggets kontekst og retoriske situasjon. En utdypning av hvordan følelsen av å bli misforstått påvirker argumentasjonen, ville eventuelt kunne passe i en senere analyse av patos og etos.

Noen steder er tilbakemeldingene selvmotsigende, som her:

Vår vurdering: Tilbakemeldingen er først at bruken av sitater er bra. Deretter etterlyser chatboten en diskusjon om hvordan sitatene bidrar retorisk. For norsklæreren er det åpenbart at «bruken av sitater» ikke er «bra» dersom de ikke tolkes, diskuteres eller kommenteres.

På den positive siden gav chatboten noen løpende tilbakemeldinger (underveis i teksten) som vi var enige i og selv hadde merket oss. Det var gjerne kjenninger av typen «Her må du begrunne påstanden med eksempler», eller «Forklar hva du mener med […]». Et eksempel på en relevant etterlysning av eksempler, ser vi her:

Hovedinntrykket er likevel at tilbakemeldingene virker delvis tilfeldige. Oppfatningen forsterkes av at TM-boten er lite konsistent. Om man legger inn den samme elevteksten flere ganger, gir chatboten ulike tilbakemeldinger fra gang til gang, noe som med all sannsynlighet vil gå ut over elevenes motivasjon til å bruke den.

Selv om tilbakemeldingene viser til konkrete eksempler fra elevteksten, og selv om chatboten gir tilbakemelding på bestemte tekstpassasjer, er kommentarene generiske og gir lite informasjon om elevens unike skriveprofil. Det vil blant annet si at dersom man hadde isolert tilbakemeldingene til hver av de tre elevtekstene og sammenliknet dem, ville det vært vanskelig å få et inntrykk av kjennetegn på den enkelte elevs styrker og svakheter som skrivere.

Refleksjoner

Vi gikk inn i forsøket med åpne sinn. En KI-ressurs som elevene kan bli bedre skrivere av, som gjør dem mer selvhjulpne og som nekter å gjøre skrivejobben for dem, virker utvilsomt forlokkende. Nå bestod ikke chatboten vår helt denne testen³. Samtidig vil vi ikke utelukke at GKI kan bidra til å utvikle elevenes skrivekompetanse. Det er mulig at oppgaven med å vurdere en så domene- og kontekstspesifikk oppgave som en retorisk analyse, og i tillegg i en norsk kontekst, blir for krevende, også for en digital superhjerne.

De store språkmodellene bygger på sannsynlighet og store data. I utviklingen av systemprompten opplevde vi at det var krevende å få chatboten til å gi tilbakemelding på elevers analyse av «den retoriske situasjonen». Etos, patos og logos skrev den derimot villig vekk om. Dette til tross for at vi i systemprompten hadde lagt inn faglig kontekst med Lloyd Bitzers forklaring av «retorisk situasjon» (Bitzer, 1968) med tilhørende fagbegreper. I flere av justeringene under utprøvinger av chatboten, forsterket vi også instruksen om at chatboten skulle gi tilbakemelding på elevens analyse og fremstilling av retorisk situasjon. Likevel ser vi at TM-boten fortsatt er mye mer tilbøyelig til å gi tilbakemelding på analysen av appellformene. Det er ikke så vanskelig å tenke seg hvorfor det er sånn. Det finnes mye mer treningsdata med analyser av etos, patos og logos enn med analyser av retorisk situasjon, og dermed prioriterer språkmodellen de hyppigst brukte begrepene. Språkmodellen får problemer når den skal forholde seg til et begrepsapparat som er særegent for den norske læreplanen, og særlig når den skal gi tilbakemelding på en så pass spesifikk og sammensatt sjanger som den norskfaglige retoriske analysen. At språkmodeller responderer etter hyppighet i data, merker vi også kvalitativt i tilbakemeldingene TM-boten gir. Det virker som om den underliggende språkmodellen konstruerer språk fra feedback-diskursen heller enn å forholde seg til den konkrete elevbesvarelsen. En gjenganger for norsklærerne, er å be elever om å utdype mer, konkretisere og å vise og å tolke eksempler. Mindre hyppig forekommer tilbakemeldinger om at et avsnitt har en assosiativ struktur og hvordan eleven kan jobbe med denne tekstsvakheten. TM-boten prioriterer typiske tilbakemeldinger, og derfor gir den heller ikke et treffende og nyansert bilde av den enkelte elevs skrivekompetanse.

Vi har tidligere i KI-Osloskolens norskgruppe utviklet chatboter som er rettet mot enkeltferdigheter og spesifikke tekstelementer. For eksempel har vi laget en chatbot som gir tilbakemelding på kildebruk og kildeføring i tekstavsnitt. Erfaringen er enn så lenge at det er langt enklere å få slike snevre chatboter til å gi konsistent og meningsfull respons. Muligens er det også enklere for elever å forholde seg til chatboter som gir konkret respons på mer instrumentelle delferdigheter? Vi så dessuten at TM-boten i liten grad gav tilbakemelding på språklig formalia, noe en prepromptet chatbot klarer fint dersom det er dens eneste oppgave.

En erfaring det er litt vanskeligere å sette ord på, er hvor tungt det var å vurdere chatbotens tekstrespons. Selv med lang vurderingserfaring, syntes vi tidvis det var krevende å vurdere kvaliteten på tilbakemeldingene. Da vi møttes, var det en sann lettelse å finne ut at vi faktisk var svært samstemte i våre vurderinger av de tre elevbesvarelsene. Dette er interessant, og litt skremmende. Hvorfor var det så krevende å «avsløre» chatbotens svakheter? Vi tror i stor grad det skyldes at chatboten har klart å appropriere «vurderingsspråket» vårt. Chatboten er utrolig god på å etterlikne. Den etterlikner så godt at det kan være vanskelig å se hvor meningstomt innholdet tidvis er, slik eksemplene over viser. Og det er den følelsen vi sitter med, at chatboten er en papegøye som plaprer overbevisende vurderingsspråk. Og når vi synes det er krevende, hva da med elevene? Nettopp denne erfaringen forteller oss at vi skal vite hva vi gjør om vi lar KI gi feedback til elever. KI-feedback krever at elevene klarer å filtrere og vurdere KI-responsen, noe som krever en sterkere tekstkompetanse enn mange av dem har i dag.

Vi avslutter med en siste refleksjon, som kanskje er den viktigste. Systemprompten vi brukte, er lang og kompleks, og den er utformet i JSON som er et tekstbasert datautvekslingsformat. Ved første øyekast kunne man bli forledet til å tro at prompt-utvikleren er over snittet IT-kompetent. Det viktige poenget her er at en slik antagelse er feil. Det er ikke IT-ferdigheter som har gjort oss i stand til å lage disse chatbotene, men norsklærerkompetansen. I justeringene har det hele veien handlet om å vurdere outputen chatboten gir, og å bruke erfaringen og kompetansen som norsklærere til å vurdere hva som bør justeres, endres, forsterkes, legges til eller fjernes i systemprompten. Vi kan jo se for oss at en veldig god chatbot kan ta over deler av arbeidet med underveisvurdering. Men vi hadde aldri klart å lage/justere TM-boten uten erfaringen som norsklærere. Om nye lærere lar GKI gi tilbakemeldinger og i mindre grad gjør det selv, hva skjer i så fall med nettopp denne kompetansen? Det er ikke urealistisk at det snart dukker opp en chatbot som faktisk klarer å gi veldig god formativ tilbakemelding. Spørsmålet blir da: Om norsklæreres vurderingskompetanse samlet blir svakere, hvem skal i så fall vurdere chatbotens vurderinger? Og når det var så krevende for erfarne norsklærere å vurdere chatboten, hva da med uerfarne lærere og ikke minst elever? Dette mener vi er svært viktige spørsmål å ta med videre når vi skal ta stilling til bruk av GKI i klasserommet.

Lenke til systemprompt i TM-boten: https://docs.google.com/document/d/16JixNRhrfJ4wcI2w_MWlx1QMUtkVh6XQ6DgZ6UCyJwg/edit?usp=sharing

^{1 I Osloskolens KI-løsning har lærerne mulighet til å lage slike chatboter. Løsningen ivaretar elevenes personvern.}

^{2 I Prosjekt 2 er systemprompten videreutviklet fra Prosjekt 1. I Prosjekt 1 fikk elevene bare én samlet respons til slutt i besvarelsen. I Prosjekt 2 gir chatboten løpende respons i teksten, i tillegg til sluttkommentaren.}

^{3 Språkmodellen i Osloskolens KI-løsning var på utprøvingstidspunktet GPT4o Mini. Vi har også testet Open AIs GPT5 som underlag for en tilbakemeldingsbot (med egenskrevne tekster). Men som TM-boten, er denne også lite konsistent i tilbakemeldingene.}