Kategori: Lärande

Kategorier
Examen Fysik Lärande Undervisning

Kan ChatGPT få godkänt på en fysikexamen?

ChatGPT har sedan introduktionen skapat en debatt om dess potential för bruk i undervisning. Frågan är om den kan få godkänt på en fysik-examen. Jag visar att det är teoretiskt möjligt men inte praktiskt på en skriftlig examen. Dock erbjuder ChatGPT möjligheter att kunna användas som ett hjälpmedel i examenskonstruktion.

År 2022 lanserade OpenAI ChatGPT-3.5 (Generative Pre-Trained Transformer) vilket har väckt en intensiv debatt om dess potentiella påverkan på utbildning och examination både på gymnasial och universitetsnivå. Denna diskussion är särskilt motiverad med tanke på OpenAIs tekniska rapport om GPT-4 som visade att den presterare på samma nivå som de 10% bästa mänskliga examinanderna på en simulerad advokatexamen. OpenAI hävdar att GPT-4 har förmågan att lösa svåra problem med högre noggrannhet, tack vare dess breda allmänna kunskap och problemlösningsförmåga. Det finns redan artiklar som (Rudolph et al. 2023) har bidragit till den övergripande diskussionen genom att ge en tidig recension och rekommendationer till studenter, undervisare och universitet om lämpliga strategier för bruk av ChatGPT.

Det bör noteras att ChatGPT bygger på ett neuralt nätverk som genererar resultat baserat på sannolikheter från inmatad information, vilket ofta kallas för en «Large Language Model (LLG)». Det innebär att ChatGPT är främst inriktad mot textbaserade tillämpningar och inte har faktisk kognition bakom de producerade svaren; de är helt beroende av den information som den tränats på. Följaktligen kan ChatGPTs påverkan vara särskilt tydlig inom textbaserade vetenskaper där den fått uppläring. Däremot uppstår frågor om hur ChatGPT presterar inom ämnen som fysik, där förmågan att lösa problem värderas högt. Exempelvis kan man fråga sig om ChatGPT kan klara en fysikexamen på universitetsnivå. Detta är av intresse då fysik i huvudsak inte handlar om att ge textbaserade svar utan handlar mer om problemlösning och att applicera fysiska principer på ett matematiskt sätt. Det vill säga att en ren språkmodell inte borde ha möjlighet att producera resultat som är giltiga i ett fysikperspektiv. Dock kan den ha tränats på utarbetade lösningar och kan generera svar som är korrekta.

Det har i två nyliga studier (Xuan-Quy et al., 2023), för Vietnamiska Nationella High School examen, och i en fysikkurs (Kortemeyer, 2023), undersökts hur en AI som ChatGPT klarar dessa. Båda visade att det var fullt möjligt.

Det är viktigt att notera att fysikkursen baserades på användning av mer formativa metoder som hemuppgifter, «klicker»-frågor, en mitt-terminsexamen och en slutlig examen.

Även om frågorna i den Vietnamiska examen motsvarar frågor på gymnasienivå och examinationen i fysikkursen skiljer sig från examinationsformerna i Skandinavien är dessa resultat inte direkt överförbara till en skandinavisk kontext, där formativ värdering är mer sällsynt. Frågan blir då om en mer summativ examen i form av en slutexamen, gör det svårare för ChatGTP att få godkänt.

För att undersöka detta har jag använt ChatGPT-3.5 (version July 20, 2023 och May 24, 2023) för att undersöka om den kan klara en fysikexamen. När jag förfrågade ChatGPT svarade den: När man ställer denna fråga till ChatGPT blir svaret: «Som en AI-språkmodell utan medvetande eller förståelse på samma nivå som en människa, kan jag inte genomföra en fysikexamen på universitetsnivå eller någon annan form av examen. Jag har inte förmågan att lösa komplexa uppgifter eller tillämpa fysiska principer på samma sätt som människor.

Vad jag kan göra är att ge information, förklara fysikaliska koncept och svara på fysikrelaterade frågor baserat på den kunskap jag har tränats med. Jag kan även hjälpa till med att lösa enklare problem inom fysik, men min prestation och förmåga har sina begränsningar.

Fysikexamen på universitetsnivå kräver djup förståelse, analytiskt tänkande och förmåga att tillämpa koncepten på avancerade problem. Det är utmaningar som en AI som jag ännu inte kan möta på samma nivå som en kvalificerad mänsklig student.«

Då ChatGPT har en sannolikhetsbaserad generering av svar, innebär det att den kan generera olika svar för identiska inmatningar. Så samma fråga matades in flera gånger och se om svaren var konsekventa och om den kunde ge rätt svar vid upprepade försök.

Den simulerade examen som jag använde var baserad på en skriftlig examen som gavs under den första fysikkursen i en fysikutbildning och omfattade ämnen som mekanik (kinematik och dynamik), grundläggande vågrörelselära och relativitetsteori. Examen bestod av 40 flervalsfrågor med 5 svarsalternativ. För att bli godkänd krävdes 41% rätta svar (ca 17 rätta svar). Medelbetyget på examen för studenterna var ett D (53-64%).

Eftersom fysikexamina ofta inkluderar figurer, syntolkades dessa för att ChatGPT skulle kunna lösa uppgifterna relaterade till respektive figur. Uppgifter som byggde på varandra gavs samtidigt i serie. Frågorna formulerades så att ChatGPT skulle ge svaret som ett av de givna svarsalternativen (A-E). Genom chat-funktionen möjliggjordes en dialogliknande diskussion, vilket gjorde det möjligt att se resonemanget och stegen i beräkningarna när sådana utfördes.

Vid första inmatningen gavs rätt svar för 15 frågor med 24 maj-versionen och 18 frågor med 20 juli-versionen. Vid på följande inmatningar gavs både nya rätta och felaktiga svar. Om man endast räknar med det första tillfället skulle ChatGPT (24 maj) få 37,5% och därmed inte bli godkänd, medan ChatGPT (20 juli) skulle få 45% och därmed bli godkänd.

Om man i stället summerar alla rätta svar, vilket har en sannolikhet att inträffa med slumpvis genererade svar, visar det sig att ChatGPT (24 maj) skulle få 25 rätta svar eller 62,5%, medan ChatGPT (20 juli) skulle få 22 rätta svar eller 55%. Båda versionerna skulle därmed kunna få betyget D.

Detta indikerar att en språkmodell-AI som ChatGPT kan få godkänt på en fysikexamen utan att ha någon reell förståelse för fysiska principer. Detta kan förklaras av flera faktorer. För det första använder ChatGPT en databas med inlärd information och sannolikhetsberäkningar för att generera svar, vilket gör att det är möjligt för den att hitta liknande frågor och svar om formuleringarna liknar de som finns där. För det andra kan examensuppgifterna vara utformade så att de inte testar en högre grad av komplex problemlösning, där flera fysiska principer och ekvationer måste användas på ett kreativt sätt. Frågor som testar mer komplex problemlösning är troligtvis inte vanligt det inlärda materialet än.

Även om studenter inte kan använda ChatGPT under en skriftlig examen visar studien på en svaghet i validiteten för tolkningen av resultatet på examen. Med andra ord, vad är det examen skall mäta och mäter examen det som den skall göra? Resultatet på en examen tolkas så att det omvandlas till ett betyg, som bör vara kopplat till lärandemål eller någon form av uppställda kriterier. Om ChatGPT kan få godkänt innebär detta att studenter potentiellt kan få godkänt utan en verklig förståelse av kursinnehållet. Då ChatGPT:s problemlösningsstrategi liknar en receptliknande metod, där man listar givna storheter, den sökta storheten och försöker hitta en passande ekvation med dessa storheter för att beräkna svaret, betyder detta att man får möjlighet att utvärdera graden av komplexitet när det gäller problemlösning i en examen med hjälp av ChatGPT. Strategin som ChatGPT använder fungerar bra för enklare uppgifter där en formel räcker, men fungerar inte när det krävs användning av flera fysiska principer (flera ekvationer) behövs eller när irrelevant information inkluderas i uppgiften.

Detta innebär att det är möjligt att evaluera hur både förståelse och problemlösningsförmåga testas på en examen genom att använda ChatGPT. Med andra ord om uppgifterna som ges har en lämplig nivå av komplexitet och bedöma utfallet på en examen som helhet för en simulerad student med begränsad förståelse. Med andra ord kan det vara möjligt att öka validiteten för en examen för dessa kriterier.

Slutsatsen man kan dra är att teoretiskt sett skulle det vara möjligt för ChatGPT att få godkänt på en fysikexamen. Jag kan visa att AI:n kan ge svar som ligger nära eller över gränsen för godkänt betyg på en fysikexamen. Dock är det inte sannolikt att ChatGPT faktiskt kommer att användas som ett hjälpmedel eller för fusk under en skriftlig examen. Det som är viktigare är att  ChatGPT kan användas som ett hjälpmedel vid uppgiftskonstruktion, där den kan fungera som en simulerad student för att få en uppfattning om vilka svar som kan förväntas ges utan en djupare kognitiv förmåga. ChatGPT kan vara ett användbart verktyg för att utvärdera och justera examina för att säkerställa en passande nivå av komplexitet och svårighetsgrad med avseende på förståelse och problemlösning.

Sammanfattningsvis har jag visat på ChatGPT:s möjligheter och begränsningar för en fysikexamen, men det finns ingen anledning till oro för att den kommer att användas för fusk under en skriftlig sals-examen. Teknologin kan dock vara användbar som ett hjälpmedel i undervisning och uppgiftskonstruktion, där den kan ge insikter om möjliga svar och komplexiteten i uppgifterna.

Jag har valt att inte ange vilken examen jag har använt för att skydda anonymiteten hos examinatorn. Examensuppgifterna och konversationerna med ChatGPT kan dock erhållas från mig.

Referenser

Kortemeyer, G. (2023). Could an artificial-intelligence agent pass an introductory physics course? Physical Review Physics Education Research, 19(1), 010132. https://doi.org/10.1103/PhysRevPhysEducRes.19.010132

Xuan-Quy, D., Ngoc-Bich, L., Xuan-Dung, P., Bac-Bien, N., & The-Duy, V. (2023). Evaluation of ChatGPT and Microsoft Bing AI Chat Performances on Physics Exams of Vietnamese National High School Graduation Examination. arXiv preprint arXiv:2306.04538. https://doi.org/10.48550/arXiv.2306.04538

Kategorier
Lärande Uncategorized Undervisning

Att lura sig själv

Det finns många myter och missuppfattingar om mycket i vardagen. Men det samma gäller även inom vetenskapen. Vi kan tro att logiskt tänkande skall vara gällande, men så är inte alltid fallet. När det gäller forskning så råder förnuftet, om man undantar fusk, medvetet eller omedvetet felaktigt bruk av data, besatthet över egna teorier..  OK, vi är människor. Men inom naturvetenskapen så kommer alltid sanningen fram förr eller senare, åtminstone den naturvetenskapliga sanningen. Den historiska sanningen, det faktiska skeendet, kan vara dold eller omöjlig att finna. Detta gör att man måste vara noggrann i sitt arbete och inte falla för enkla lösningar. Francis Bacon’s «idols» är bra att ha i bakhuvudet så man inte lurar sig själv. Eller som Feynman sa: «The first principle is that you must not fool yourself, and you are the easiest person to fool.»

Bacons «idols (Idola)»:

  • «Idols of the Tribe» (idola tribus), which are common to the race;
  • «Idols of the Den» (idola specus), which are peculiar to the individual;
  • «Idols of the Marketplace» (idola fori), coming from the misuse of language; and
  • «Idols of the Theatre» (idola theatri), which stem from philosophical dogmas.
Kategorier
Föreläsningar Lärande Undervisning

Teaching into a void – Zoom undervisning

I motsats som många tror så är inte en föreläsning en en-vägskommunikation. Eller rättare sagt i de flesta fall. De föreläsare som står vända mot tavlan hela tiden eller läser direkt ur sin anteckningar utan att se upp är det inte många kvar av. Som föreläsare har du alltid möjlighet att läsa av dina åhörare genom deras ansiktsuttryck eller kroppsspråk, även ljudnivån från åhörarna spelar roll. Man kan se om man behöver justera presentationen, minska tempot, repetera någon och så vidare.

Men med övergången till digital undervising (Emergency Remote Teaching ERT) på grund av pandemin ändrades detta fullständigt. De «föreläsningar» som nu skulle göras digitalt erbjuder inte detta form av kommunikation på ett enkelt sätt. Om man har inställningen att en föreläsning endast är en «överföring» av kunskap och därför en-vägs kommunikation så uppfattas inte detta som ett problem. Men låt oss titta på vilka tänkbara effekter detta kan få.

Zoom-föreläsning

Vi tänker oss den enklaste formen av föreläsning, med en presentation på Zoom, där föreläsaren kan skriva i presentationen. Så långt är skillnaden inte så stor från en normal föreläsning. Men föreläsaren kan inte se (eller höra) studenterna. Föreläsaren har då ingen möjlighet att läsa av sina åhörare och kan då inte anpassa sig på samma sätt som under en föreläsning i sal. Studenterna kan ha på kamerorna så att föreläsaren med rätt hjälpmedel kan se en mosaik av ansikten och ev. läsa kommentarer i chatten. Men ofta så är det svarta block som möter föreläsaren i stället för ansikten, då studenter förståeligt nog inte vill visas. Men man måste då tänka på att även det kan påverka föreläsaren negativt. Har du bara en massa svarta fyrkanter kommer detta naturligtvis minska motivationen.

Att detta inte påverkar föreläsarens insats borde vara klar och det kräver extremt mycket att kunna hålla motivationen uppe i tillägg till att det är mentalt utmattande att genomföra sådana sessioner. Jag har själv gjort det flera gånger (pre-corona) och det är som att springa ett maraton mentalt.
Men nu påverkar detta även studenterna som inte kommer få den undervisning de borde, ämnesmässigt kanske innehållet är lika men en föreläsare som inte är på «topp» påverkar även studenternas lärande negativt.

Hybrid-föreläsning

En lösning skulle kunna vara så kallade hybrid föreläsningar där man sätter upp en kamera som filmar en föreläsning med några deltagare fysiskt närvarande. Men även detta bjuder på problem. Det är ännu mindre sannolikt att de som sitter hemma kan ställa frågor, detta under förutsättning att föreläaseren inte har en medhjälpare som kontrollerar chat och styr kameran. Men här kommer föreläsarens fokus helt ligga på de som är i salen och detta skapar ett «socialt utanförskap» för de som är med via dator.

Är föreläsningar nödvändiga?

Den fråga man kanske borde ställa sig först är om föreläsningar i den form som ges i salar verkligen är nödvändiga att genomföra digitalt? Vi har sett på några negativa aspekter ovan och det finns flera. Men det löser inget. Här kan man ta lärdom av de metoder som utvecklats inom «Digital Education» och distansundervisning som funnits i flera årtionden.

Här finns det möjligheter att bryta med det som är gällande praxis och istället se möjligheter förutsättningslöst. En lösning är att inte ha «vanliga» föreläsningar utan diskussioner baserade på «flipped classroom» principen, man spelar eventuellt in en video i förväg där man går igenom teori eller visar något. «Föreläsningen» på zoom skall då istället ta upp frågor och aspekter av innehållet i videon. Här är det viktigt att få studenterna att förstå varför man gör så. Frågor är alltid svåra att få från studenter, men här kan man ha en icke-räknade quiz som skall besvaras innan föreläsningen. (man bör dock ge poäng för att man gör den men inte resultatet), svaren i quizen kan då bilda grund för diskussionen och eventuella fördjupningar och förtydliganden. Här kan man då få mer aktiva studenter och i tillägg en substitution till det «sociala trycket» att gå på föreläsning och därmed en rutin i vardagen som är så viktig under tider av kris.

Detta innebär dock mer arbete för föreläsaren, men till skillnad från de andra inspelningarna kan materialet användas på nytt och även bidra till att reformera undervisningen när pandemin är över.

Även om detta låter enkelt är detta en ändring i paradigmet och som sådan mycket svår att få till…

Kategorier
Föreläsningar Lärande Undervisning Video

Hur att se inspelade föreläsningar.

I samband med COVID-19 pandemin ställdes skolor och universitet inför faktum att normal undervisning inte kunde genomföras på grund av hälsomässiga orsaker. Detta gjorde att nästan över en natt måste alla kurser ges «online» eller digitalt. Detta gjordes av ren nödvändighet och det fanns inte tid till eftertanke. Detta är något jag skrev om i ett tidigare inlägg (https://www.ntnu.no/blogger/fysikkforfakirer/wp-admin/post.php?post=146).

Men frågan är hur detta påverkat brukarna (elever och studenter)?

Man måste komma ihåg att flytta undervisningen «online» kan öka flexibiliteten hos undervisning och lärande både med avseende på plats och tidpunkt. Men detta kräver dock att man planerar och lägger upp material som verkligen gynnar lärande. Detta gör att materialet måste vara anpassat till den digitala studiemiljön. I många fall måste denna byggas upp och i tillägg måste brukarna kunna anpassa sig till denna.

Baserat på erfarenheter och forskning handlar mycket om att skapa en läringsgemenskap och ger stöd inte bara genom instruktioner utan genom ett medägarskap och socialt stöd. I en digital miljö är det lätt att bli ensam och då utan det nätverk/stöd som finns för ordinär campus undervisning, socialt, både formellt och informelt.

Föreläsningar

Låt oss titta på en föreläsning i ett auditorium. På ytan kan det se ut som en envägskommunikation, en föreläsare som pratar vid tavlan och följer ett manus. Men ser vi närmare så pågår en kommunikation ständigt mellan åhörarna och föreläsaren. Åhörarnas kroppsspråk och minspel avslöjar mycket som en erfaren föreläsare känner av och anpassar sig till. Vi har en icke-verbal kommunikation som också påverkas av ljudnivån av åhörarnas inbördes kommunikation. Men även här har vi en aktiv kommunikation där frågor och svar utväxlas mellan åhörarna. Så motsatt vad en del tror så är det en omfattande kommunikation som föregår inom föreläsningens studiemiljö.

Anteckningar tas, för förhoppningsvis inte verbatim, utan bearbetas av den enskild åhöraren.

Om vi nu tittar på en inspelad föreläsning dvs när man satt en kamera i auditoriet under en vanlig föreläsning, vad kan vi se är annorlunda för tittaren av inspelningen?

För det första, tittaren har ingen kontakt med föreläsaren och deltar heller inte i den icke-verbala kommunikationen som sker i auditoriet. Detta kan vara frustrerande och det på en undermedveten nivå. Referenser som föreläsaren har kan hamna utanför bild vilket gör att tittaren missar information.

Den andra skillnaden är att om tittaren är ensam har hen ingen att fråga och diskutera med. Det är möjligt att pausa eller spola tillbaka men det är fortfarande tittaren som skall förstå utan att få en annan synvinkel eller förklaring på frågeställningen.

För det tredje, det är lätt att när man tittar ensam att de anteckningar man gör blir sämre eller att man inte skriver något överhuvudtaget. Man lutar sig tillbaka och kan uppleva en «illusion of mastery». Det verkar så lätt att man inte anstränger sig. Man kan också frestas att spela av föreläsningen med högre hastighet. Redan vid 1.4x missar man ord och hjärnan måste jobba extra för att ta emot och sortera informationen, den kognitiva belastningen blir så stor att läringseffekten blir liten.

Så det är inte bara att lägga ut en föreläsningsvideo och hoppas på det bästa. Man bör visa brukarna att man missar information i en inspelad föreläsning och att den sociala studiemiljön med sina fördelar och krav saknas.

En sak som bör påpekas är att om möjligt skall man se en föreläsningsvideo i grupp så att man kan pausa och diskutera svåra partier i videon. Man skapar med detta en studiemiljö där man kan kommunicera med någon och hjälpa varandra. Bestämmer man att träffas skapas också ett socialt tryck att se videon utan prokrastinering, vilket också är positivt. Med tanke på att föreläsningar vid en bestämt tidpunkt också fungerar som en skapande av rutiner i tillägg till det sociala trycket att delta, så kan det att man träffas vid en bestämd tidpunkt ersätta detta tryck till viss del.

Man antar att det är nog med att lägga ut en video, men man bör också ge råd om hur man skall se på den för bästa effekt. Man tror kanske att det sätt man gör är det optimala men den som är lättast att lura är dig själv.

The first principle is that you must not fool yourself and you are the easiest person to fool. - Richard P. Feynman
Kategorier
Examen Lärande Uncategorized Undervisning

Flervalsfrågor och hemexamen

I dessa tider när examina inte ges i salar utan har gett som hemexamen har det dykt upp en debatt om fusk. Här har många blivit förvånade över att det förkommit samarbete mellan studenter och kallar hemexamen en katastrof eller något sådant. Men låt oss titta närmare på problematiken.

Jag har flera gånger haft kurser där examinationen varit en hemexamen. Men den examen har då varit designad till att vara en hemexamen och där jag räknat med att studenter har samarbetat. Med andra ord jag har designat examen på så sätt att det blir svårare att samarbeta.

Det första är att låta examen vara över längre tid minst 6 timmar och i vissa fall 24 timmar, allt efter kursens innehåll. Alla uppgifter skall besvaras genom långa svar (fritext) med motiveringar. Dessa kan vara korta men det är mycket svårt att kopiera korta svar utan att det upptäcks. Även skillnader i numeriska värden i uppgifterna är ett enkelt sätt, detta kräver dock att man har en algoritm som gör det enkelt att få fram svaren. Ofta så ingår även en mer öppen uppgift där studenterna själva skall anta ett visst värde, sannolikheten för att två skall välja exakt samma är liten. Just öppna uppgifter där man ligger på en högre nivå i Bloom’s taxonomi är mycket lämpliga i en hemexamen. Detta kräver dock mer arbete när man rättar men ger en bättre bild av vad studenten kan än andra uppgifter.

Det som dock är förbjudet i en hemexamen är flervalsfrågor. Detta av flera skäl. 1. man testar på en låg nivå i Bloom’s taxonomi. 2. Det är omöjligt att se hur studenten tänker. 3. Det går inte att se om det förekommit samarbete eller direkt kopiering.
Om man framhärdar i att behålla flervalsfrågor och försöker hindra samarbete så får det andra effekter.

Man ökar antalet frågor så att studenter inte hinner samarbeta => om studenterna inte hinner med ger man ett incitament till att samarbeta. Något som är kontraproduktivt.

Man ökar svårighetsgraden för att hindra samarbete=>om studenterna måste jobba mer och inte hinner med ger man ett incitament till att samarbeta.

Frågor och svarsalternativ blandas om=> detta genomskådas lätt och hindrar inte samarbete. Dock kommer en variation i ordningen av svarsalternativ göra att det tar längre tid att lästa uppgiften.

Flervalsfrågor är därför ett dåligt alternativ på hemexamen och borde inte få förekomma. Det är bättre att låta studenterna bara ge ett kort svar.

Men om vi undantar samarbete från diskussionen, kan flervalsfrågor (med hjälpmedel) påverka resultaten? Svaret är ja. Flervalsfrågor ger automatiskt fler godkända än frisvar genom att man kan gissa, dvs gränsen för godkänt sänks i praktiken, samtidigt som högre betyg påverkas mycket lite. Detta blir relativt oberoende på svårighetsgraden. Men här är det viktigt att veta att studenterna har tillgång till alla hjälpmedel, också gamla examina som om man inte är mycket noggrann vid examenskonstruktionen kommer vara till stor hjälp.

Väljer man att bara ha godkänd/icke godkänd kommer många att göra så mycket som de tror de behöver och troligen inte mer, så poängfördelningen kommer inte att kunna ge speciellt mycket information heller.

Så var ligger problemet? I alla fall inte enbart hos studenterna.

Kategorier
Lärande Undervisning

The neverending story -Utbildningsprogram

Ingen utbildning är satt i sten. Det sker alltid saker i samhället eller nya forskningsrön i ämnet, teknologi eller (i undantagsfall pedagogik).

Detta gör att en utbildning hela tiden måste evalueras med avseende på vad som skall och hur det skall undervisas. Men samtidigt som förutsättningarna ändras måste man ha rutiner för att möta dessa. Här är det viktigt att att ställa rätt frågor och ha ett tydligt mål.
Det handlar om att ställa frågan:
Vad skall studenterna kunna när de utexamineras?
Här kommer omvärldens krav att vara viktiga och man måste se till behovet både hos studenterna och deras framtida arbetsgivare. Men samtidigt vet inte vad som sker om 10 år. Är utbildningen fortfarande aktuell, som undervisare handlar det om att ge generella färdigheter som kan klara förändringar. Vi kan kalla dessa för utbildningens program lärandemål.
När man har ett svar på den första frågan, handlar det om att se till att
program lärandemålen behandlas i de kurser som ges. Det vill säga att man skapar kurslärandemålen utifrån programlärandemålen.
Detta sätt att arbeta kan kallas «backward course design»

Här använder man samma principer och börjar med :
Vad vill jag att studenterna skall lära och få ut av kursen?
Detta inom ramen vad hela utbildningen skall ge. Här får man då ett antal kurslärandemål.
Dessa mål skall vara formulerade så att de skall vara möjliga att mäta. Själv evalueringen av lärandemålen är en viktig del i processen, där «mätningen» svarar upp mot lärandemålen.
Men evaluering och lärandemål på plats, skall ett arbete om hur man skall understödja studenterna att uppnå målen.

Här kommer evaluering (examination) och lärande mål vara beroende av varandra. Man kan med detta inte låsa sig på förhand till en viss typ av examination, utan måste vara flexibel och ha den examination som passar lärandemålen bäst.

Men det viktigaste är att ha lärandemålen klara för sig, både de mer övergripande programlärandemålen och kurslärandemålen. Effektiva lärandemål kan beskivas som att vara SMART: Specific, Measurable, Attainable, Relevant, and Time-limited.

Det finns en risk att målen verkar hämmande på den akademiska friheten (jag undervisar det jag vill), men sanningen är att det är studenterna som skall vara i fokus, och deras rättigheter väger tungt. Detta gör att man kan lämna en del av lärandemålen öppna för personligt tycke och smak.

Men när man har gjort allt klart, så måste programlärandemålen evalueras och ev. ändras och allt startar på nytt. Det är ett sisyfosarbete som aldrig tar slut……

Kategorier
Examen Lärande Uncategorized Undervisning

Vad är viktigt?

När man ger en kurs så bör man ställa sig frågan vad som är viktigt. Om det är en grundkurs, så skall den kursen ge studenterna tillräckliga kunskaper att a) klara kurser som bygger på kursen i fråga, b) ge grundläggande kunskaper som är viktiga i ett framtida yrkesliv och c) klara en examen.

Ser man till användbarheten av kunskaper så är ofta de grundläggande kunskaperna viktigast både för kurser och yrkesliv. I fysik så är det ofta de grundläggande kurserna, Mekanik, Elektromagnetism, Termodynamik, som är viktigast. Kurser inom Kvantmekanik, Kärnfysik osv. har för majoriteten mycket liten relevans. Metoder som brukas i kurserna är dock viktiga. De specialkunskaper som behövs i yrkeslivet får man genom kurser eller uppläring i arbetsgivarens regi.

Med andra ord, så är det ofta inte specialist kurserna som är viktiga för en arbetsgivare, utan mer allmän kompetens , Programmering, Modellering, problemlösning osv. Men grundkurserna är ofta viktigare. Har studenten förstått det grundläggande?

«Enter the exam»

Då kommer frågan om examens roll i grundkurserna. Kan en skriftlig examen verkligen visa hur väl en student har tillgodogjort sig en kurs?
Om vi tar ett hypotetiskt exempel med en kurs som består av 10 moduler som behandlar olika grundläggande principer. För att man skall anse att studenten skall ha förstått alla dessa, vad kräver vi?

Om vi har en skriftlig examen som består av 10 spörsmål (ett per modul), har anser jag att det finns få synergier mellan moduler med avseende på spörsmål. För att få godkänt (gräns på 50%) behöver man då kunna 5 moduler. Med andra ord det är fullt möjligt i det hypotetiska fallet att klara kursen genom att kunna 50% av kursen.

Är det hypotetiska fallet verkligen hypotetiskt? Tänk om det inte är så. Vad kan det få för konsekvenser? Det finns ett antal skyddssystem, men om dessa inte fungerar?

Målet borde vara att man har ett system, där basen testas extra noga, vilket kan genomföras med systemet jag diskuterat i ett tidigare inlägg(https://www.ntnu.no/blogger/fysikkforfakirer/2018/03/27/undervisarens-drommar-1-examen/).

Men för att detta skall vara möjligt krävs viljan till en förändring…

Kategorier
Böcker Föreläsningar Historia Lärande Undervisning

Moderna läromedel?

Man får ofta höra att föreläsningar inte ändrats på 7-800 år. Ofta med referens till en illustration. Men hur sant är detta? Svaret är inte alls. Går vi till tiden före Guttenberg (före ca 1500) så fanns inte böcker i tryckt form. Dessa var handskrivna och mycket dyra. Det var helt enkelt inte tillgängliga. Detta ger då en förklaring till bilden av föreläsningar, det var en person som läste ur den/de böcker som fanns tillgängliga. Detta finns fortfarande kvar i den akademiska titeln «Reader» i UK.

Böcker och pamfletter var viktiga källor till kunskap under 16- och 17-talen och «föreläsningar» fick en annan form i de fall som de överhuvudtaget existerade. Diskussioner, demonstrationer och frågor hade sin grund i att antalet studenter (i många fall var lågt). En stor del av undervisningen skedde i det vi skulle kalla mentorgrupper.

Men när antalet studenter ökade ändrades undervisningen och vi fick «moderna föreläsningar» samtidigt med detta kom också bättre läroböcker. Föreläsningarn formades mer och mer efter innehållet i böckerna utan att det egentligen behövs, utan mer av «traditionen».

Men om vi tar ett steg tillbaka och tänker, så finns «allt» presenterat i boken och ofta på ett pedagogiskt bra sätt. Vad skall då en föreläsning handla om? Ett svar är att anpassa till den aktuella kontexten, boken (som troligen brukas i hela världen) är inte anpassad till detta. Det är viktigt att utöka och förtydliga innehållet i boken till kursen, inte tvärt om. Som det är nu så kan det se ut som om boken bestämmer innehållet. Men detta finns det idag sätt att komma undan.

Böcker kan idag vara dyra och speciellt om det är en bok som kanske bara brukas i en kurs och aldrig öppnas igen. Men det finns idag web-böcker som håller minst lika bra kvalitet som tryckta böcker. I vissa fall bättre på grund av länkar och snabbar uppdatering. Openstax.org är en sådan site, där böcker i ett antal fält finns och som brukas av upptill 50% av studenter i USA. Men detta är bara en aspekt.

Web-baserade böcker möjliggör också att man kan lägga till egna notater, quiz, länkar och multimedia material direkt i boken. Detta kräver dock en unik web-adress. Men detta är möjligt. Med andra ord vi kan anpassa både föreläsningar och läroboken till en kurs i stället för att använda boken som mall.

Nu i vår använder jag en web-bok som kurslitteratur i en kurs och hoppas att inom en snar framtid kunna prova att ha en web-bok med tilläggsmaterial i en kurs. Är du som föreläsare intresserad att prova eller en student som vill ha detta, hör av dig så kan jag presentera ideen i detalj.



Kategorier
Examen Lärande Undervisning

Undervisarens drömmar 2: Första året

Målet med en utbildning handlar om att skaffa sig kunskaper och färdigheter som skall (förhoppningsvis) ge ett jobb efter examen. Detta gör att det finns ett antal mål som utbildningen skall uppnå. I många fall är dessa mål tydliga och i andra fall inte fullt så synliga. I tillägg till dessa övergripande mål finns mål för varje enskild kurs, ibland överlappande med utbildningens mål. Detta gör att kurserna kan sättas in i ett större sammanhang. Men hur är det med de kunskaper och färdigheter som man skaffar sig under utbildningen. Ofta (men inte alltid) handlar det första året (åren) om att skaffa sig grunden som man bygger vidare på. De skall fungera som grundfundamentet till kunskapshuset. Men hur djupt sitter egentligen dessa grundläggande kunskaper?
Vi vet att en djupinlärning ger ett ökat långsiktigt lärande. Så logiskt borde vi se till att studenterna under det första året får en djupinlärning. Men ger vi studenterna den?

Övergången till universitet kommer att vara ett stort steg för en majoritet, för många det första steget att klara sig själv och utan det stöd man vant sig till. Den (semi-)formativa värderingen har nu ersatts av en värdering som baseras på i många fall ett examenstillfälle. Något som jag skrivit om tidigare ex: https://www.ntnu.no/blogger/fysikkforfakirer/2018/10/05/paniklasning/ Detta har ett antal mindre lyckade konsekvenser, bland annat ökad stress. Men vi kan även få en ineffektiv studieteknik/studiemetod genom panikläsning och prokrastinering. Det finns en överhängande risk att vi omedvetet tvingar studenterna till en ineffektiv inriktning. Lägger vi till betygsjakt finns det en stor risk att man läser till examen och inte för att lära sig.

Hur kan man lösa detta dilemma? Tar man konsekvenserna av att det första året skall ge en god och djup grund, kan man överväga att ta bort graderingen och ersätta med Godkänd/Icke godkänd och en formativ värdering. Detta sätter dels större fokus på senare kurser som i mångt och mycket är mer arbets-relevanta och dels på ett fokus på grundläggande kunskaper och färdigheter som ger en bättre grund för kommande kurser.

Med en dikotom betygsättning, kan man sätta upp tydligare arbetskrav och kontinuerlig examination. Man ges möjligheten att anpassa undervisning och examination till olika grupper baserat på nivå och intresse. Genom att minimera panikläsning och extrem tidspress kan bättre studiemetoder och studiemiljö skapas. För duktiga studenter finns möjlighet till fördjupning och för svagare möjlighet att få hjälp att klara kraven.

Resultatet kan bli:

  • Bättre studieteknik
  • Mindre stress
  • Färre avhopp
  • Djupinlärning
  • Bättre resultat på högre kurser
  • Bättre förberedda studenter

Men detta är bara en undervisares drömmar…

Kategorier
Examen Lärande Uncategorized

Panikläsning

När det närmar sig examen ser man ofta studenter som panikläser (cramming) inför examen, det finns en del som ser detta som tidsbesparande. Men forskningen är tydlig med att denna studieteknik inte fungerar. Många experiment har visat att lång-tidseffekten av så kallad «spacing», med spridda studiesessioner över tid, ger ett överlägset resultat. En studie från 2009 (https://onlinelibrary.wiley.com/doi/abs/10.1002/acp.1537) visade att spacing var mer effektivt än panikläsning för 90% av deltagarna.

Anledningen till att så är fallet förklaras av att minnena fluktuerar på grund av styrkan i den olika kopplingarna (synapser) mellan neuroner i hjärnan. Dessa kopplingar kan stärkas eller försvagas beroende på när och hur ofta de aktiveras. Det vill säga minnen kan göras tydligare eller försvinna. Detta medför då att ju mer och oftare man aktiverar dom desto lättare är det att minnas. Detta förklarar då att det är bättre att se över materialet flera gånger under en kurs istället för att försöka få in allt i huvudet kvällen (eller veckan) innan examen. Det optimala är att gå över materialet igen inför en examen och inte skjuta upp studierna.

Men panikläsning kommer dessutom att ge upphov till stress och sömnbrist, vilka båda är faktorer som gör att konsolideringen i långtidsminnet hindras. Detta gör att offra sömn för att studera är kontraproduktivt och bör undvikas.

 

Du kommer troligen att minnas något om du har ett emotionellt förhållande till det. Detta beror på att amygdala förstärker minnet genom att öka uppmärksamheten och perceptionen. Den kan också återkallande av minnen genom att starta utsöndringen av stresshormoner.  Man har visat att dåliga erfarenheter stärker minnet av farliga ställen och tjänar då som ett sätt att undvika dessa. PÅ så sätt kan för mycket stress ge överbelastning och skapa oro och hindra formerandet av minnen. Men just rätt mängd stress kan öka uppmärksamheten och den kognitiva förmågan.

Överraskande kan även förvirring vara bra för lärandet. Forsking (https://www.sciencedirect.com/science/article/pii/S0959475212000357 ) har visat att vara förvirrad över nya ideer eller en situation kan inspirera oss att arbeta mer för att förstå, vilket led4r till en djupare förståelse och bättre minne av det vi lärt.

Så för bästa resultat sprid ut studierna över tid och se till att få ordentligt med sömn.