Rettferd i variantoppgåver med tilfeldig trekking

Abstract

I automatiserte prøver som studentar skal kunne ta om att mange gonger, er det behov for å lage store mengder oppgåver som blir trekte tilfeldig frå gong til gong. Ved formativ bruk av prøvene trengst variantar for å unngå at stu-dentar etter kvart svarer rett på alt berre ved å pugge svar, og ved summativ bruk av prøvene trengst variantar for å hindre at gjentak gir ein urettvis for-del framfor å ta prøva på første forsøk. Eit mogeleg problem med tilfeldig trekking mellom mange variantar, er dersom variantane har ulik vanskegrad, slik at studentar kan vere meir eller mindre heldige med kva oppgåver som blir trekte for dei. Denne artikkelen ser på nokre variantoppgåver som blei brukte både i formative treningstestar og summative meistringstestar i eit innleiande programmeringskurs i Python for førsteårs universitetsstudentar, meir spesifikt oppgåver som skulle teste forståing av if-setningar i Python. Spørsmåla vi ser på er følgjande: 1) Kva analyser kan faglærar gjere for å sjekke om oppgåvevarianter er rettferdige? 2) Var oppgåvene rettferdige ved dette konkrete høvet? 2) I den grad det blei funne variasjon i vanskegrad mellom variantar, kva var årsaka til denne? Spørsmåla blei undersøkte ved statistisk analyse av anonymiserte studentprestasjonar oppgåvene. Funn ty-der på at jamvel om kodekompleksiteten var lik i alle variantane, var det noko variasjon i vanskegrad. Mogeleg forklaring kan liggje i samanhengen mellom koden og den tekstlege utforminga av oppgåveteksten eller svaral-ternativa. Artikkelen avsluttar med idear til korleis oppgåvene kunne ha vore gitt på ein meir rettferdig måte.