Onderwijsevaluaties blijven leeg
Bedelen om feedback
Door Thijs Fens
By Thijs Fens
‘Heel eerlijk? Ik heb wel wat beters te doen. Maar misschien ben ik ook wel gewoon lui.’ Jesse Smit (25) studeert Engels en heeft nog nooit een onderwijsevaluatie ingevuld. ‘Het komt ook omdat ik vaak denk: wie ben ik om iets van een vak te vinden?’
Ook psychologiestudent Lies Venema (20) vult er eigenlijk alleen eentje in als er een formulier onder haar neus wordt geschoven. ‘Als het naar me gemaild wordt, doe ik er niets mee.’
Het is een probleem waar alle faculteiten tegenaan lopen. Steeds minder studenten vullen de evaluaties in. Dat speelt al jaren, weet vicedecaan Manda Broekhuis van de Faculteit Economie en Bedrijfskunde. Daar deden ze tien jaar geleden al onderzoek naar de lage respons op de onderwijsevaluaties. Van alles werd bekeken: wanneer worden ze ingevuld? En door wie?
Dat onderzoek liet zien dat studenten die de vragenlijsten niet invulden ook aanzienlijk minder vaak naar de hoor- en werkcolleges kwamen. ‘Ze waren veel minder betrokken bij de studie’, zegt Broekhuis.
Constructief
En dat is verontrustend, want studenten hebben – met de juiste manier van evalueren – veel invloed op de kwaliteit van het onderwijs en de verbetering hiervan. De meeste feedback is dan ook constructief. ‘Iets waarvan je als docent denkt: dank je, dat wist ik niet’, zegt vicedecaan Klaas van Veen van de Faculteit Gedrags- en Maatschappijwetenschappen.
Daarnaast werkt het twee kanten op: studenten die begeesterd zijn door hun vak vullen vaker een beoordeling in, maar door het invullen van zo’n vragenlijst worden studenten ook meer de academische wereld ingetrokken. En dat is volgens Femke Kramer, faculteitsraadslid en voorzitter van de opleidingscommissie (OC) Nederlands, belangrijk om de kwaliteit van het onderwijs goed te kunnen beoordelen.
Als het naar me gemaild wordt, doe ik er niets mee
Maar juist die betrokkenheid van studenten is de afgelopen jaren alleen maar afgenomen. Belangrijkste reden: corona. ‘Dat heeft er echt ingehakt. Zeker ook bij evaluaties’, zegt Van Veen. Ook zijn faculteiten met het oog op duurzaamheid overgestapt op digitale feedbackformulieren. ‘Ik denk dat dit de drempel ook heeft verhoogd om ze in te vullen.’
Terwijl een vak evalueren heel waardevol kan zijn: er zijn veel voorbeelden van zaken die veranderd zijn aan de hand van feedback. Bijvoorbeeld de hoeveelheid te lezen literatuur, de spreiding van de opdrachten over de lesweken. ‘Het komt wel eens voor dat studenten bij drie vakken tegelijk met een tijdrovende opdracht bezig zijn. Daar heb je als individuele docent veel minder zicht op’, aldus Kramer.
Representatief
‘Kijk alleen al naar het nieuws rondom Tjeerd Andringa. Dat illustreert hoe belangrijk onderwijsevaluaties zijn, omdat er veel mis kan gaan in een collegezaal’, zegt Elisa Kupers, voorzitter van de OC pedagogische wetenschappen en onderwijskunde. ‘Dat kwam pas na jaren aan het licht.’ Volgens haar zijn studenten de enigen die echt weten hoe het eraan toe gaat tijdens een college.
Bij de OC gebeurt er altijd wat met de evaluaties, vertelt Kupers. Ze worden verstuurd naar de desbetreffende docent en die kan er dan op reageren. Vervolgens wordt alles besproken in de commissie en het jaar erop wordt gekeken of het vak beter gaat. Maar ook de vakken die goed scoren bespreken ze. Wat ging daar goed? En hoe komt dat? ‘Daar kunnen andere docenten weer van leren.’
De respons moet dan wel representatief zijn. Want als maar 10 procent van de hele groep heeft gereageerd, is het moeilijk om daar conclusies aan te verbinden. Daarnaast is lang niet al het commentaar waardevol. ‘Ik heb wel eens de kritiek gekregen dat mijn Engels niet goed genoeg was, terwijl de hele collegereeks in het Nederlands was’, vertelt Roel Jonkers, vicedecaan bij letteren en hoogleraar neurolinguïstiek.
‘En het moet niet op de persoon gespeeld worden’, vindt Van Veen. ‘Ik heb wel eens een evaluatie voorbij zien komen van een docent waarbij in de open ruimte stond: ze is meer bezig haar scheiding dan met ons. Waar haal je het lef vandaan?’
Tevreden student
Maar het is volgens Rasmus Steinkrauss, docent taalwetenschappen en voorzitter van de faculteitsraad letteren, de vraag hoe waardevol de huidige manier van evalueren, met vooral kwantitatieve vragenlijsten, überhaupt is.
‘Het gaat nu namelijk vaak over de studenttevredenheid in plaats van over de cursuskwaliteit’, zegt hij. ‘Daar zou het veel meer op toegespitst moeten worden.’ Jonkers kan dat beamen. ‘Het moet natuurlijk geen populariteitspoll zijn. Het moet om de inhoud gaan.’
Het moet natuurlijk geen populariteitspoll zijn
Uit onderzoek blijkt namelijk dat docenten die aardig en makkelijk zijn, beter uit een evaluatie komen dan docenten die de lat hoog leggen en veeleisend zijn. ‘Plat gezegd wordt nu gevraagd aan de student: waren de docent en de cursus leuk? Terwijl je eigenlijk moet vragen: was de cursus wel moeilijk genoeg?’ zegt Kramer. ‘Als een docent leuk is en leuke dingen doet, zegt dat weinig over wat je hebt geleerd bij dat vak. De gangbare evaluatiemethode maakt dit laatste niet goed zichtbaar.’
Kupers en Van Veen kunnen zich hierin vinden. Het lijkt eerstgenoemde geen slecht idee om de vragen in de huidige manier van evalueren eens goed tegen het licht te houden. Van Veen gaat nog een stapje verder: ‘Misschien moet je concluderen dat de huidige manier van evalueren helemaal uit is. Je moet al zoveel invullen. Mensen worden evaluatiemoe.’
Gesprekken
Om die reden zijn ze bij letteren nu begonnen met een pilot voor een nieuwe evaluatiemethode door middel van panelgesprekken. Kort gezegd komt dit erop neer dat de jaarvertegenwoordigers van de OC gesprekken voeren met jaargenoten over de vakken die ze hebben gevolgd. Zij krijgen speciale training in het leiden van zulke gesprekken. Ook de deelnemende studenten krijgen uitleg.
Het zorgt ervoor dat er op veel dieper niveau en op een kwalitatieve manier naar het vak wordt gekeken, zegt Steinkrauss. In de zomer wordt nagegaan wat deze manier van evalueren – die naast de huidige vragenlijsten blijft bestaan – heeft opgeleverd.
Ook bij FEB zoeken ze naar manieren om meer respons te krijgen. Naast gesprekken met jaarvertegenwoordigers die door faculteitsvereniging Quest (Quality of Education for Students) worden gevoerd, heeft het studentlid in het faculteitsbestuur onlangs samen met anderen een videoclip gemaakt waarin ze laten zien wat er nou precies met de ingevulde evaluaties gebeurt. ‘Op die manier willen we studenten laten zien dat het echt nut heeft om ze in te vullen. Die clip wordt getoond tijdens bijvoorbeeld introductieperiodes en bij het begin van een vak’, aldus Broekhuis.
Verplicht
Bij GMW overwegen ze om naast de jaargesprekken ook gesprekken zoals bij letteren in te voeren. Het verplicht maken van de evaluatie is een andere optie. Zo zou je als student je cijfer in Progress alleen op kunnen halen als je de evaluatie hebt ingevuld. ‘Maar dat ligt wel gevoelig’, zegt Van Veen. ‘Moet je dat willen? Er zitten dan vast studenten bij die het maar even snel invullen omdat het moet. Dan weet je eigenlijk nog steeds niks.’
Je moet al zoveel invullen, mensen worden evaluatiemoe
Jesse ziet zo’n verplichte evaluatie niet zitten. ‘Dat is een hele negatieve benadering, Een beetje kinderachtig zelfs’, vindt hij. Maar Lies zou het niet erg vinden, zegt ze. ‘Het is misschien een beetje dwingend, maar je krijgt wel reactie.’
Ook het panelgesprek vindt ze een goed idee. Of ze daar dan aan mee zou doen? ‘Dat weet ik niet. Ik vind het best lastig om een vak te evalueren. Want wie ben ik om kritiek te leveren? En waar moet ik me op baseren?’
Kramer snapt dat studenten zich onzeker voelen over dit laatste. Maar in de panelgesprekken waarmee ze nu een pilot uitvoeren, krijgen de studenten als instructie om uit te gaan van de studiehandleiding. Die geeft namelijk precies aan waar het vak op gericht is en welke leerdoelen je op het einde moet hebben behaald en hoe je dat moet doen.
‘Het is een goed referentiekader waarmee je de kwaliteit kan beoordelen’, zegt Kramer. ‘Zie het als een soort contract waar studenten op kunnen terugvallen.’
Het probleem is het vooral dat je een hele lange lijst van vragen in moet vullen terwijl je eigenlijk gewoon 1 specifiek punt kwijt wilt. Studenten hebben geen zin om een hele lange lijst in te vullen, en zo mis je wel waardevolle feedback die je hoopte te hebben.
Ten minste, zo ervaar ik dat. Vaak heb ik feedback willen geven maar toch niet gedaan omdat ik geen zin heb om zo’n lange lijst in te vullen
De populariteitswedstrijdsfeer kan ik onderstrepen: toespitsen op inhoudelijkere/kwalitatievere punten lijkt me goed idee. Maakt dat je voelt dat het zin heeft om te evalueren.
Ik sluit me helemaal bij Arnold en Ben aan: toen de enquetes op papier waren, en samen met het tentamen werden uitgedeeld en opgehaald, was de respons goed, en waren de resultaten bruikbaar. Tegenwoordig is het vergeefse moeite. Dus: of terug naar papier, of helemaal ophouden, en iets anders verzinnen: het aloude idee van college-responsgroepen bijvoorbeeld.
Ik werk zo’n 24 jaar bij de RuG. De vakevaluaties werden in het verleden goed ingevuld: bij mijn vakken een respons van 50% en hoger. De oorzaak: de evaluatieformulieren werden als schrapformulieren (met ook ruimte voor het invullen van enkele open vragen) – dus op papier – bij het tentamen uitgereikt. De meeste studenten vonden na het maken van tentamen het de moeite waard dat evaluatieformulier serieus in te vullen, waarna ze het gelijk het tentamen inleverden bij de docent. Op het moment dat op een digitaal systeem werd overgeschakeld en de evaluatie los werd gekoppeld van het tentamenmoment, kwam de klad in de respons. Uiteraard had dit oude systeem ook nadelen: kwamen docenten misschien in de verleiding onwelgevallige evaluaties achter te houden, gaf het niet veel meer gedoe qua verwerking? Dat lijken mij oplosbare punten. Toch iets om over na te denken; niet elke verandering is een verbetering …
De evaluaties komen altijd op een erg onhandig moment: na (of tijdens) de laatste les, te midden van alle tentamenstress. Hierdoor vergeet ik ze vaak in te vullen en zijn de evaluaties alweer gesloten. Ook weet ik van medestudenten dat er toch een soort angst heerst over het invullen van een negatieve evaluatie wanneer je het tentamen nog moet maken.
Soms zijn de lessen ook heel goed van een docent, maar sluit het tentamen voor geen meter aan bij de lesstof. Heel jammer, want dan heb je net een hele goede evaluatie ingevuld, maar hierin heb je niets over het tentamen kunnen zeggen omdat je deze nog niet gezien had op het moment van invullen. Ik zou het fijner vinden om de evaluatie pas in te vullen nadat het vak daadwerkelijk afgesloten is. Ik ben heel erg benieuwd naar de panelgesprekken binnen Letteren, ik heb hier namelijk als student binnen deze faculteit nog niets over gehoord.
Iedereen is toch helemaal klaar met het invullen van vragenlijsten? Panelgesprekken lijken me een stuk betere optie, maar de OC’s hebben nooit genoeg capaciteit om dit voor elk vak te doen.
Ik vraag me af of het ethisch èn wettelijk gezien door de beugel kan om studenten te dwingen een evaluatie in te vullen voordat ze bij hun cijfer kunnen. Zoals ook al opgemerkt in het artikel is het ook niet onwaarschijnlijk dat het effect zal hebben op de evaluaties zelf. Ik zou er als student althans behoorlijk geïrriteerd over zijn.
Is het niet handig om in elk geval weer terug te gaan naar papieren evaluatieformulieren waar dat kan (namelijk bij alle tentamens in de tentamenhal)? Je kunt alle papieren formulieren wel willen afschaffen uit oogpunt van de duurzaamheid, maar als het niet werkt, dan werkt het niet.
Het artikel stelt dat Corona de oorzaak is. Dat betwijfel ik ten sterkste. Jaren voor Corona zijn we al gestopt met papieren evaluatieformulieren die in de tentamenhal ingevuld konden worden. Toen was de responserate nog goed. Direct na invoering van het digitale systeem was de respons meer dan gehalveerd, en nu op een treurig dieptepunt.