Når VfK skal studere effektene av video i undervisningen, streber vi etter å finne objektive evalueringsverktøy. Subjektive evalueringer har en viss verdi, men i mange tilfeller kan de gi et feilaktig bilde. Instrumentene vi bruker er statistikk over videobruken (seerstatistikk), eye-tracking for å se hvor oppmerksomheten til brukeren rettes, og forskjellige «concept inventories» hvor vi studerer effekten av undervisning på grunnleggende prinsipper. I tillegg studeres også studentenes holdninger.

Seerstatistikk

De fleste videoportaler logger informasjon om bruken av videoer. Det kan dreie seg om geografisk lokalisering, tidspunkt, varighet og antall seere. Her spiller det en rolle hvilken portal som brukes, da ikke alle data som lagres er pålitelige, blant annet på grunn av problemer med programmering og web-roboter. Data som vi bruker i VfK baserer seg på antall unike daglige besøkende, da det ikke er hensiktsmessig å telle en besøkende flere ganger i løpet av samme dag eller video. Dataene samles inn og organiseres ukesvis etter enkeltvideoer. Dette gir oss et godt bilde av hvor mye en video eller videoserie brukes. Fra dataene får vi også informasjon som gjør det mulig å dra slutninger om hvordan videoer brukes.

Figuren viser antall besøkende per uke for en videoserie med forelesninger i Matematikk 1 fra 2013. Vi ser her at bruken minker drastisk året etter. En nærmere studie av enkeltvideoer viser at de først og fremst blir sett innen to uker etter den innspilte forelesningen. Grad av gjenbruk er dermed begrenset, noe som er ofte også gjelder for andre videoserier.

Om vi ser på statistikken for en videoserie med oppgaveløsning (lagt ut 2014) ser vi et annet bruksmønster.

I dette tilfellet ligger bruken hovedsakelig i forbindelse med eksamensforberedelser. Gjenbruket i påfølgende semestre ser også ut til å være større.

Eye-tracking

Et viktig aspekt når det gjelder videoer og videoundervisning er å sørge for at seerne har fokus på «rett» sted, og at de får med seg essensen av det som presenteres. Det er også viktig å identifisere distraksjoner som stjeler oppmerksomheten. Også den temporale oppmerksomheten er viktig, slik at man vet hvor lenge et objekt bør vises og når pauser skal legges inn. I tillegg er det også mulig å studere virkningen av ulike designelementer.

Eye-tracking går ut på at man ved å filme øyet samtidig som testpersonen ser på noe, kan følge blikket og hvor oppmerksomheten ligger. Teknisk sett skjer det ved å studere pupillen og refleksjoner i øyet. Dette gjør at man kan se hvor på en skjerm blikket rettes. Ved studier i forelesningssaler kan man bruke briller med scenekamera og slik se retningen på blikket. 
VfK studerer både oppmerksomheten i forelesninger og i en video, dette for å undersøke forskjellene mellom live og video. 

Concept inventories

For å se på læringsutbyttet har vi benyttet oss av såkalte ”concept inventories”. Når vi trenger et måleinstrument som ikke varierer over tid som en eksamen gjør, og som først og fremst ser på forståelse, er det nærliggende å velge ferdigutviklede «concept inventories». Disse må imidlertid oversettes og evalueres for å avgjøre om de er egnet. Her kan for eksempel nivået være for lavt, spørsmålene kan være kulturelt betinget, eller de kan være vanskelige å oversette. En evaluering av "Force Concept Inventory" (FCI) har blitt gjennomført med svar fra ulike kurs innenfor ulike studieprogram [publ. 9]. Selv om FCI viste en god diskriminering – det vil si at testen skiller ut de svakeste – så var vanskelighetsgraden noe lav for visse studieprogram, med risiko for tak-effekter for studentgrupper som helhet. Imidlertid kan testen fungere på lav- og middels-presterende studenter. Det er i tillegg disse som er målgruppen for VfK-prosjektet. 
Også BEMA-testen (Brief Electro Magnetic Assessment) i elektromagnetisme har blitt testet (i en forventet høy-prestasjonsgruppe) og vist seg å være passende for formålet. Her må testen oversettes og ev. modifiseres når det gjelder enkelte spørsmål. En tilsvarende test i kvantemekanikk har også blitt testet med samme resultat. 
Innenfor kjemi er det også utviklet et ”concept inventory”. Dette har blitt testet og tatt i bruk på enkelte kjemikurs [publ 5.].    

Holdningsundersøkelse

Det er også viktig å kjenne til studentenes holdninger til studier og emnene som studeres. Her benytter vi oss av CLASS (Colorado Learning Attitudes about Science Survey), siden denne finnes for fysikk, kjemi og biologi. At holdningene til emnet og undervisningen er viktig for læringen er en av observasjonene. En genuin interesse for emnet og en «riktig» innstilling til sine studier, først og fremst når det gjelder den konseptuelle forståelsen, har vist seg å ha innvirkning på resultatet.

Studentenes holdninger er imidlertid ikke fastlåste, og vil påvirkes av et stort antall faktorer, ikke minst av undervisningens innhold og karakter. Man må regne med at det er en annen kultur ved et universitet enn i videregående skole, og studenter som ikke kan tilpasse seg vil ofte falle fra. Dette har ikke nødvendigvis noe med intellektuell kapasitet å gjøre, men kan blant annet handle om nettopp problemer med å tilpasse seg kulturen. Dette er studert [publ. 2.], og studien fortsetter i form av en longitudinell studie, samt i en sammenlignende studie ved Chalmers Tekniska Högskola.