Bedre sammenligninger og nasjonal nytteverdi av de internasjonale undersøkelsene: Et blikk tilbake og veien framover

Over tid har internasjonale storskalaundersøkelser vokst: De er flere, gjennomføres mer regelmessig og flere land deltar. Mange av disse landene representerer en heterogen gruppe med økonomier, språk, kulturer og geografi. Denne heterogene blandingen av land har betydning for de sammenlikningene man velger å gjøre. Som regel legges det mest vekt på sammenlikning og rangering av land med utgangspunkt i elevenes faglige prestasjoner, men i den senere tid har også skalaene som er basert på bakgrunnsvariabler, for eksempel sosioøkonomisk status og sosiale og emosjonelle ferdigheter, fått økt oppmerksomhet.

I denne artikkelen foreslår vi en framgangsmåte for bedre å kunne beholde og ivareta landspesifikke forskjeller når man utvikler skalaer basert på slike bakgrunnsvariabler. Vi refererer til forskning som viser hvordan ulike kvalitetsproblemer ved dataene i internasjonale undersøkelser kan ha uheldige konsekvenser for tolkninger og konklusjoner fra studiene. Det er eksempelvis kjent at det er urovekkende lavt samsvar mellom svarene som elevene og foreldrene gir på spørsmål om elevenes hjemmebakgrunn, særlig i land på lavere utviklingsnivå og med lave elevprestasjoner. Videre har samlevariabelen for elevenes sosioøkonomiske hjemmebakgrunn i PISA 2012 lave faktorladninger på ‘eiendeler i hjemmet’ i fire av fem skandinaviske land, og relabilitet er veldig lav i både Norge og Island.

Vårt løsningsforslag inkluderer nyvinninger som har vært utviklet for skalaer for å måle prestasjon. Design-baserte løsninger hvor ikke alle elever svarer på de samme oppgavene, har vært benyttet for de faglige testene. Land med forventede svake prestasjoner kan eksempelvis benytte seg av oppgavehefter med lettere oppgaver. I tillegg foreslår vi modell-baserte løsninger hvor man benytter statistiske modeller som lemper på kravet om strengt ekvivalente måleinstrumenter. Verken design-baserte eller modell-baserte løsninger har så langt blitt brukt for de ikke-kognitive konstruktene basert på bakgrunnsvariabler. Vi foreslår at framtidige studier bør introdusere et design hvor land kan ha noen helt unike item for noen av disse skalaene. Videre foreslår vi at dette kan kombineres med en løsning hvor skalaene konstrueres ved at faktorladningene for de fleste itemene (minst to) settes til å være like i alle land (ankerspørsmål), mens andre faktorladninger kan variere på tvers av land. Vi viser i artikkelen hvordan en slik løsning kan brukes på data fra PISA 2012. Vi konkluderer med at denne eller tilsvarende metoder kan gi konstrukter som er bedre og mer fintfølende innen de enkelte landene, og at sammenligninger mellom land fortsatt vil være mulig.

Publisert 23. feb. 2017 10:29 - Sist endra 10. apr. 2017 16:21