Studenten willen minder multiplechoicetentamens, omdat die hen onvoldoende voorbereiden op wat nog komt. Maar dat klopt niet, schrijft hoogleraar psychometrische en statistische technieken Rob Meijer.
In UKrant is er meerdere malen voor gepleit om meer openvragententamens (ov) af te nemen. Het multiplechoicetentamen (mc) zou slechts het herkennen van antwoorden meten en niet in staat zijn hogere cognitieve processen te meten zoals analyse en het toepassen en evalueren van kennis.
In geen van de stukken werden wetenschappelijke argumenten naar voren gebracht. Wat zegt de wetenschap?
Uit onderzoek blijkt dat goed geconstrueerde mc-tentamens en ov-tentamens in dezelfde mate hogere cognitieve functies kunnen meten. Bovendien blijkt bijvoorbeeld in de medische context dat mc-vragen beter in staat zijn om later functioneren in de praktijk te voorspellen dan open vragen. Interessant is ook dat onderzoek heeft laten zien dat scores op mc en ov tentamens erg hoog correleren.
In het algemeen is het dan raadzaam om mc-items te schrijven die ‘contextrijk’ zijn. Contextrijke vragen (bijvoorbeeld het presenteren van een case) meten naast kennis ook analyse en het toepassen van kennis.
De beoordelaar kan een ongewenste en inconsistente invloed hebben op de resultaten
Bij het beoordelen van de kwaliteit van een examen speelt betrouwbaarheid een belangrijke rol. Betrouwbaarheid heeft te maken met de consistentie waarmee vragen worden beoordeeld; het ontbreken van ruis. Uit onderzoek blijkt dat mc-tentamens betrouwbaarder zijn dan ov-tentamens.
Elke docent die wel eens ov-tentamens heeft nagekeken, snapt waarom. Ondanks het beschikbare modelantwoord, vraagt het nakijkwerk interpretatie van de beoordelaar en die is niet volledig consistent over de verschillende vragen en studenten.
Hoewel geen didactisch argument, is efficiëntie ook belangrijk. Mc-tentamens zijn efficiënter dan ov-tentamens. Het schrijven van mc-items vergt meer tijd dan het schrijven van ov-items en het nakijken kost veel minder tijd. Onlangs maakten ongeveer zevenhonderd studenten een tentamen testtheorie, het nakijken van al die tentamens kost veel tijd en dus geld.
Dan nog even wat anekdotische overwegingen. Soms hoor je: mc-tentamens zijn makkelijker dan ov-tentamens. Je kunt makkelijke en moeilijke mc- en ov-tentamens maken. Een van mijn collega’s merkte laatst op dat de studenten waren gered door de open vragen, die waren beter gemaakt dan de mc-vragen.
Waarschijnlijk mede door de neiging van een docent om de student het voordeel van de twijfel te geven en zelfs nog een vraag gedeeltelijk goed te rekenen die dit nauwelijks verdient. Strenge beoordelaars komen wellicht tot een omgekeerde bevinding. Punt is: ook hier geldt dat de beoordelaar vaak een ongewenste en inconsistente invloed kan hebben op de resultaten.
De boodschap is: Gebruik mc-tentamens tenzij het niet anders kan
Een ander argument dat soms wordt genoemd door critici van mc-vragen is dat studenten moeten leren een antwoord te formuleren. Als dit mede het doel is van het tentamen, dan is een mc-tentamen inderdaad minder geschikt. Bij veel studies wordt bij de meeste vakken niet schrijfvaardigheid als (mede)doel van het vak geformuleerd. Dan hoeven we dat ook niet per se te toetsen.
Ov-tentamens zijn te prefereren boven mc-tentamens wanneer we willen toetsen of een student iets kan creëren. Bijvoorbeeld, kan iemand een logisch schriftelijk betoog houden?
De conclusie is dus dat mc-tentamens waarschijnlijk even goed in staat zijn om te meten wat u wilt meten en daarnaast betrouwbaarder en efficiënter zijn. De boodschap uit de wetenschappelijke test- en examenliteratuur is dan ook: Gebruik mc-tentamens tenzij het niet anders kan.
Tot slot, als psycholoog is het intrigerend om te zien dat het uitvoeren van een simpele taak, het aankruisen van het juiste antwoord op een tentamen, vereenzelvigd wordt met het meten van simpele cognitieve vaardigheden. Dat is natuurlijk niet zo.
Wist u dat het aankruisen van het goede antwoord op een intelligentietest van slechts een uur, ontworpen voor het voorspellen van academisch succes, ook voorspellende waarde heeft voor uw prestaties in uw latere baan, creativiteit en loopbaansucces vele jaren later. Is dat niet fascinerend?
Rob Meijer is hoogleraar psychometrische en statistische technieken bij de Faculteit Gedrags- en Maatschappijwetenschappen (GMW)