Doktorgrad om interoperabilitet og akademisk integritet relatert til digital vurdering

Av Guttorm Sindre, 1. april 2022

Phd-stipendiat Aparna Chirumamilla, som forsvarte sin avhandling høsten 2021, forsket på digital eksamen, spesielt på utfordringer knyttet til manglende interoperabilitet mellom ulike verktøy, og med sikkerhet mot fusk.

Interoperabilitet betyr i hvilken grad ulike IT-verktøy er i stand til å samhandle, og helst bør de være i stand til å samhandle så sømløst som mulig for å unngå dobbeltarbeid relatert til kombinert bruk av ulike verktøy. Det fins to hovedmål for interoperabilitet:

• Enkel utveksling av data
• Mulighet til sømløst å kjøre ett verktøy fra et annet

Et scenario hvor utveksling av data mellom læringsverktøy er nyttig, er faglærere har laget oppgaver for digital eksamen i Inspera og neste år ønsker å bruke samme oppgaver til formativ vurdering i læringsstøttesystem som Canvas eller Blackboard, eller ønsker å dele oppgavene med faglærere ved et annet universitet der de bruker WISEflow til digital eksamen – da vil man ønske å kunne eksportere oppgavene fra det ene verktøyet og enkelt importere i det andre, heller enn å måtte lage oppgavene på nytt i det nye verktøyet. I noen tilfeller kan dette lykkes, siden mange verktøy for e-læring og digital eksamen bruker den internasjonale standarden QTI (Question and Test Interoperability) som gir retningslinjer for hvordan ulike oppgavetyper og tester representeres. Men i mange tilfeller fungerer det ikke optimalt, enten fordi ulike verktøy har ulike implementasjoner av standarden, eller fordi en viss oppgavetype støttes av ett verktøy, men ikke av et annet. For eksempel har Inspera en oppgavetype «Plasser i tekst» som kan være hensiktsmessig for pusleoppgaver (såkalte Parsons Problems) i programmering. Det hjelper ikke om man kan eksportere dette som QTI hvis det andre verktøyet man ønsker å importere til, ikke har denne oppgavesjangeren. Å kunne lagre ulike oppgaver i tråd med en internasjonal standard, uavhengig av hvilket konkret verktøy som brukes når faglærer skriver oppgaven, eller når studenten skal løse den, vil også kunne være svært nyttig for samarbeid mellom universiteter i utforming av oppgaver og spørsmålsbanker.

Et scenario hvor sømløs kjøring av ett verktøy fra et annet, kan være at faglærer ønsker at studentene i øvinger og selvtester i løpet av semesteret skal kunne oppleve samme brukergrensesnitt som de vil oppleve på eksamen. Det vil da være interessant å kunne starte det digitale eksamenssystemet fra læringsstøttesystemet (f.eks. starte Inspera fra Blackboard eller Canvas), siden det er i læringsstøttesystemet at gjennomføring av øvingsopplegget administreres. En sømløs integrasjon ville innebære at studenten ikke trenger å logge inn på nytt, med ville komme rett i eksamenssystemet med riktig Feide-bruker, og der kunne utføre de aktuelle oppgavene, som det så ville bli registrert i læringsstøttesystemet at var utført – og tilsvarende skulle faglærer eller læringsassistent kunne bevege seg sømløst mellom de ulike verktøyene for å gi tilbakemelding på levert arbeid. Det fins en internasjonal standard LTI (Learning Tools Interoperability) for å skulle oppnå dette, men er fortsatt en betydelig vei å gå før en slik sømløs integrasjon vil være en realitet. Chirumamillas forskning avdekket at opprettelsen av UNIT med nasjonal koordinering av anskaffelser av IT-verktøy for utdanningssektoren har økt mulighetene for en helhetlig tankegang rundt interoperabilitet og at mange verktøy skal fungere sammen, men at det fremdeles er et stykke å gå før verktøyene vil kunne støtte den sømløse interoperabiliteten som vi ville ønske. I konkrete anskaffelser av læringsverktøy kommer interoperabilitet ofte i bakgrunnen i forhold til andre kriterier, ikke minst ønske om ny funksjonalitet og at systemet skal være lett å drifte.

For digital eksamen vil dessuten sikkerhet mot fusk være et viktig kriterium. Rent intuitivt kan man tenke at en digital skoleeksamen (dvs. eksamen under tilsyn) vil ha større risiko for fusk enn en tilsvarende skoleeksamen med penn og papir. Fusk som er mulig for en papireksamen, vil typisk være mulig også for en digital eksamen – f.eks. fuskelapper, hvisking mellom kandidater, skjult bruk av mobiltelefon for kommunikasjon med andre eller googling etter løsninger. Dessuten vil digital eksamen samtidig ha noen nye trusler knyttet til fusk via PC-en, og særlig hvis dette er en medbrakt PC (såkalt BYOD-eksamen, «Bring Your Own Device»). Forskningen indikerte imidlertid at det ikke nødvendigvis er større risiko for fusk på digital eksamen, for i tillegg til nye trusler muliggjør digitalisering også flere forsvarsmekanismer mot fusk som ville være dyre eller vanskelige å få til med papireksamen. Dette kan dreie seg om ulik rekkefølge på oppgaver, ulike varianter av oppgaver, restriksjoner på timing og navigering mellom oppgaver underveis i eksamen, samt at man ved en digital eksamen potensielt vil kunne se hvordan en students besvarelse utvikler seg tastetrykk for tastetrykk, heller enn bare å se sluttresultatet.

I forbindelse med Covid og hjemmeeksamen har det blitt ekstra stort fokus på fusk. Mesteparten av Chirumamillas forskning ble gjort før lockdown, så hjemmeeksamen er ikke noe hovedtema i avhandlingen, men forskningen berørte også dette i noen grad. Internasjonalt er det mange som bruker overvåkning av studenter mens de tar eksamen hjemme (via PC-ens webkamera og mikrofon), men slike systemer brukes per i dag ikke i Norge. Uansett er det viktig å ha klart for seg at slike systemer heller ikke vil være en 100% garanti mot fusk – teknisk dyktige studenter kan nok finne teknikker for å omgå dem. Generelt er det viktig at kampen mot fusk ikke får et for ensidig fokus på overvåkning, men at man tenker vel så mye på holdningsskapende arbeid, samt på pedagogiske aspekter: Gi studenter en bedre mestringsfølelse i løpet av semesteret og mindre angst for eksamen, slik at behovet for fusk blir mindre, og lag oppgaver som gjør det vanskeligere å fuske.

Videre lesning for spesielt interesserte:

Chirumamilla, A., Sindre, G., & Nguyen-Duc, A. (2020). Cheating in e-exams and paper exams: the perceptions of engineering students and teachers in Norway. Assessment & Evaluation in Higher Education, 45(7), 940-957.

Chirumamilla, A., & Sindre, G. (2021). E-exams in Norwegian higher education: Vendors and managers views on requirements in a digital ecosystem perspective. Computers & Education, 172, 104263.

Chirumamilla, A. (2021). Analysis of security threats, requirements, and technologies in e-exam systems. PhD thesis, Department of Computer Science, NTNU, October 2021.
Sindre, G., & Vegendla, A. (2015). E-exams versus paper exams: A comparative analysis of cheating-related security threats and countermeasures. In Norwegian Information Security Conference (NISK) (Vol. 8, No. 1, pp. 34-45).

Sindre, G. (2021). Kan fusk på hjemmeeksamen forhindres? Nordic Journal of STEM Education, 5(1).