Kvalitetssikring 1 - fagfelleevaluering
Første del av kvalitetssikringen skjer i forkant av eksamen. Hvert av spørsmålene gjennomgår en trippel fagfelleevaluering der en LIS, en sykehuslege og en allmennlege vurderer spørsmålene på relevans for nyutdannet lege, om oppgavene tester klinisk resonnement, om fasiten og begrunnelse for fasiten er god nok.
Fagfellene er eksterne og får ingen informasjon om hvem som har laget oppgavene de får tildelt. Den enkelte oppgaveansvarlige får heller ingen informasjon om hvem som har evaluert egne oppgaver. I etterkant endres, og eventuelt strykes, oppgaver i fagkomitéene.
Eksamenskommisjonens utkast til endelig oppgavesett leses igjennom av to LIS. De har fokus både på enkeltoppgaver og helheten av fag og vanskelighetsgrad. Det gjøres og en ekstra korrekturlesing med fokus på tekst, oppsett av tabeller og referanseverdier.
Endelig eksamenssett er satt sammen av en eksamenskommisjon bestående av to representanter fra hvert studiested. Representantene har bred erfaring fra eksamenskommisjon på 6. studieår.
Kvalitetssikring 2 - analyse av resultatene
Etter eksamen kommer andre delen av kvalitetssikringen. Det utføres psykometriske analyser på oppgavene. Dette er statistiske metoder som legger grunnlaget for vurdering av hvorvidt eksamen tester det den skal teste, som læringsmål (validitet) og om resultatene er pålitelige (reliabilitet).
Analysene gir også informasjon om hvordan det enkelte spørsmål har fungert med tanke på vanskelighetsgrad totalt sett, og hvordan kandidatenes svar på distraktorene er spredt.
Eksamenskommisjonen gjennomgår de psykometriske analysene i sitt sensurmøte, sammen med tilbakemeldingene sendt inn av studentene som avla eksamen. Spørsmål som av ulike grunner har fungert dårlig og spørsmål som måtte inneholde feil, blir tatt ut før det settes endelige karakterer.
Se Skriveveileder for MCQ-oppgaver
Veilederen omhandler oppgaveformat, gir råd for utforming av oppgaver og beskriver kvalitetssikringen av spørsmål og prøve.