Utvikling av nye digitale kartleggingsprøver
Forskere ved enhet for kvantitative utdanningsanalyser (EKVA) er i gang med å utvikle tredje generasjon kartleggingsprøver i regning for 1. og 3. trinn på oppdrag fra Utdanningsdirektoratet. Oppdraget har en ramme på fem år og avsluttes i 2023. De nye prøvene skal for første gang være digitale. Digitale prøver gir muligheter for nye oppgaveformater sammenlignet med hva som er mulig på en papirbasert prøve. De skal fortsatt brukes til å identifisere første- og tredjeklassinger som strever med grunnleggende ferdighet i regning.
Prøvene for 1. trinn er frivillige for skolene å bruke, og skal ta utgangpunkt i begynneropplæring i tallbegrep og tallregning basert på forskning. 3. trinns prøven skal være obligatorisk. Den skal ta utgangspunkt i læreplanens kompetansemål for 2. trinn i tillegg til å være forskningsbasert.
Rammeverk med tilhørende konstrukt og operasjonalisering vil utarbeides av forskere ved EKVA i samarbeid med Utdanningsdirektoratet. Det vurderes om prøvene kan være adaptive.
Prøvene skal utvikles med utgangspunkt i erfaringer fra nåværende prøver samt internasjonal forskning.
Oppgavene skal skille godt mellom elever under og like over en bekymringsgrense slik at lærerne får et viktige verktøy for å støtte barnas læring. Bekymringsgrensen settes ved første gjennomføring.
Det skal også utvikles veiledningsmateriell og støttemateriell for å hjelpe lærere og skoleledere med å ta i bruk prøveresultater. Informasjon fra to følgestudier vil bidra til arbeidet med å utvikle dette materialet.
En brukergruppe bestående av lærere, skoleledere, rådgivere ved PPT og utdanningsetater, og en ekspertgruppe bestående av nasjonale og internasjonale eksperter innen prøvefeltet skal være med på å kvalitetssikre prøver og veiledningsmateriell.
(Videoproduksjon: Shane Colvin & Magnus Heie/UiO).
Aktiviteter i 2019
I 2019 hadde vi et hovedfokus på å utvikle og prøve ut mange nye oppgaveideer som kunne måle aspektene i rammeverket. Oppgaveideer til digitale oppgaver ble prøvd ut med elever på ulike trinn ved hjelp av konkreter som kunne simulere hvordan oppgaver kan løses på skjerm.
Vi hadde kognitive labber på ti ulike skoler dette året, hvor vi lånte grupper av elever som hjalp oss med utprøvinger. Vi fokuserte på hvordan ulike oppgaveformater fungerte, hva oppgavene målte, elevenes forståelse av instrukser og oppgaveformuleringer og elevenes strategier for å løse oppgavene. Elevenes refleksjoner, innspill og opplevelser viste seg å være helt sentralt i denne fasen av oppgaveutviklingen.
Aktiviteter i 2020
I 2020 skal vi fokusere på utprøvinger av nye oppgaver i digital plattform. Formålet er å forbedre formater og å videreutvikle instrukser.
Senere vil vi pre-pilotere grupper av oppgaver, teste tidsmåling og skåring, samt hente ut data til analyse og validering.
Om de eksisterende kartleggingsprøvene
Papirbaserte kartleggingsprøver i regning ble første gang implementert i 2009. De ble laget for 1., 2. og 3. trinn, men var kun obligatoriske for 2. trinn.
ILS startet arbeidet med andre generasjons kartleggingsprøver i 2012. Også disse prøvene ble utviklet for 1., 2. og 3. trinn, men var kun obligatoriske for 2. trinn.
Hver enkelt oppgave og prøven som helhet ble utprøvd og grundig analysert i to generalprøver per trinn våren 2013. For å sikre høy kvalitet ble prøvene vurdert ut fra psykometriske kriterier. Beregningen av bekymringsgrensen ble gjort etter dataanalyser fra første gjennomføring. Samme bekymringsgrense har blitt brukt ved alle gjennomføringer.
Etter ekstern kvalitetssikring fra PRIM-gruppen, Stockholms universitetet, validering med representanter fra skolen (elever, lærere og skoleledere) og drøfting med Utdanningsdirektoratet, ble endelige prøver satt sammen høsten 2013. De ble tatt i bruk for første gang i 2014.
Årlige analyser har gitt innsikt i utfordringer knyttet til fastsettelse av bekymringsgrensen og om prøvene har fungert etter hensikten.
Som en del av oppdraget, er det også utviklet veiledningsmateriell til lærerne for hvert trinn. Veiledningen inneholder råd for videre kartlegging, tolkning av resultater og råd for oppfølging av elever som havner under bekymringsgrensen, med noen forslag til undervisningsaktiviteter. På Utdanningsdirektoratets nettsider finner du veiledningene og mer informasjon om kartleggingsprøven i regning.
Følgestudier av dagens kartleggingsprøver
Det har vært nødvendig å samle mer systematisk informasjon om hva som skjer med elever som identifiseres av kartleggingsprøvene i regning. I to oppfølgingsstudier har vi fått innsikt i om prøvene fortsatt fungerer etter hensikten, og vi har fått informasjon som kan brukes til å videreutvikle kartleggingsprøvene og veiledningsmaterialet. Studiene har en varighet over tre år. Fra og med 2018 har to typer data blitt samlet inn fra 15 utvalgte skoler. Alle personopplysninger behandles konfidensielt, og datamaterialet anonymiseres ved prosjektslutt.
Kunnskap og innsikt som er generert i studiene, vil etter planen tilbakeføres til skolene. Forslag til mulige fellestiltak og rutiner vil bli identifisert i analysene og presentert for skolene – både som et ledd i kvalitetssikring i studien og som et ledd i tilbakeføring av kunnskap til skolene.
Studie 1: Utviklingen over tid
Fra utvalgte skoler i Oslo-området skal prøvehefter samles fra alle elever på 1.–3. trinn. En database for sammenlikning over tid lages ved at elevenes svar på oppgavene i prøvene registreres og poeng/oppgave for hver prøvegjennomføring for alle elever lagres i en egen database. Datasett 1 fra prøveresultatene gjør det mulig å følge utviklingen over tid og for å studere hvilke elever som identifiseres gjennom prøvene. Siste datainnsamling vil skje i 2020.
Studie 2: Tolking av prøvedata og tiltak
Et annet datasett har blitt samlet inn ved hjelp av gruppeintervjuer med lærere. Dette har gitt oss informasjon om oppfølging av prøveresultater. I tillegg ble elevenes matematikklærer og en av skolelederne på skolen bedt om å svare på et elektronisk spørreskjema. Datasett 2 har gitt informasjon om hvordan lærere arbeider for å tolke prøveresultater samt om hvilken type tiltak de planlegger.