Ik geef onderwijs aan groepen van honderden bachelorstudenten tegelijk. Tijdens het tentamen – in de stress om in twee uur te moeten presteren – wordt een evaluatie afgenomen. Dat is handig, want ik heb geen tijd om alle studenten individueel feedback te vragen.
Tussen alle commentaren zitten elk jaar wel een paar nuttige suggesties die ik gebruik om het vak het jaar daarop beter te kunnen geven. Maar die tips zitten ondergesneeuwd in commentaar waar je niks mee kan. Mijn favoriet is de student die op het officiële evaluatieformulier klaagde dat het steeds regende als hij naar college moest fietsen. (Vond ik ook erg vervelend trouwens.)
Iets compleet anders
Dit soort vakevaluaties zijn een redelijk accurate manier om te meten of studenten tevreden zijn over een vak en dat is nuttige kennis. Maar zo worden de resultaten van deze evaluaties vaak niet gebruikt. Ze worden gebruikt om te meten of het een goed vak is, gegeven door een goede docent. En dat is iets compleet anders. Bij een aantal faculteiten worden ze zelfs gebruikt als onderdeel van het personeelsbeleid: een vast contract is alleen weggelegd voor docenten met goede vakevaluaties.
Een goed docent is iemand die leeruitkomsten bij zijn/haar studenten realiseert – niet iemand die zijn/haar studenten tevreden houdt. Om die leeruitkomsten te realiseren, moet het vak soms voor ongemakkelijke situaties zorgen: je leert pas echt als je uit je comfortzone gehaald wordt.
Mannen vs. vrouwen
Klachten over studentevaluaties hoor je vaker – meestal van docenten met tegenvallende evaluaties (die van mij zijn best in orde, hoor). Een aanzienlijk aantal recente wetenschappelijke studies laat echter overduidelijk zien dat de kritiek op vakevaluaties verder gaat dan die van de verzuurde docent. Ten eerste correleren de vakevaluaties enorm met zaken die evident niks met onderwijskwaliteit te maken hebben. Zo worden vakevaluaties structureel positiever ingevuld als het zonnig weer is – vervelend voor docenten die in januari geëvalueerd worden, maar leuk voor de juni-evaluaties.
Een tweede – ernstigere – correlatie is die tussen evaluatieresultaat en geslacht: mannelijke docenten worden structureel beter beoordeeld dan vrouwelijke docenten (wellicht de verklaring waarom mijn evaluaties nog best in orde zijn). Dit werd in een zeer interessante studie gemeten: na afloop van een MOOC werd de student verteld dat degene die via een chatfunctie online hulp bood, ofwel Alice ofwel Bill heette – terwijl het in werkelijkheid dezelfde persoon was. Online docent ‘Bill’ kreeg significant betere evaluaties dan online docent ‘Alice’…
Kwaliteit
Evaluaties hangen dus met van alles samen dat niks met de onderwijskwaliteit te maken heeft. Maar dat is nog maar het halve verhaal. De andere helft: evaluaties hangen niet samen met onderwijskwaliteit. Twee dit jaar gepubliceerde meta-analyses laten zien dat de correlaties tussen kwaliteit van het onderwijs en waardering van de studenten 0,01 is. (Veel dichter bij nul dan dat ga je het niet krijgen).
De verklaring hiervoor is volgens Kornell & Hausman: ‘[…] that good teachers are those who require their students to exert effort; students dislike it, especially the least able ones, and their evaluations reflect the utility they enjoyed from the course. Overall, our results cast serious doubts on the validity of students’ evaluations of professors as measures of teaching quality or effort.’
Stop ermee
Samengevat: (i) vakevaluaties meten niet wat veel mensen denken dat ze meten (zoals onderwijskwaliteit); (ii) vakevaluaties meten wel wat ze niet moeten meten (zoals het weer). Toch worden vakevaluaties nog steeds gebruikt om te bepalen welke docent een vaste baan krijgt, om te bepalen welke vakken ‘goed’ zijn en welke vakken aangepast moeten worden, etc.
De Personeelsfractie in de universiteitsraad is het daar niet mee eens en heeft daarom een notitie geschreven om dit binnenkort met het College van Bestuur (CvB) te bespreken. We hopen dat het CvB per direct een stop zet op het gebruik van evaluaties in het personeelsbeleid, en dat zij meer bewustzijn creëert bij opleidings- en examencommissies over de beperkingen van vakevaluaties.
Ook hopen we dat het CvB met ons mee wil denken over hoe de onderwijskwaliteit beter gemeten – en daarmee verbeterd – kan worden. Hier zijn verschillende suggesties voor, en het is nog onvoldoende bekend welke suggestie wel en welke niet werkt. Wat inmiddels wel bekend is: vakevaluaties werken niet.
Casper Albers is universitair hoofddocent statistiek en universiteitsraadslid namens de Personeelsfractie.