Eerst waren er berichten over matching (het werkt), naar aanleiding van een onderzoek uitgevoerd in opdracht van het ministerie van OCW. Vervolgens was er nieuws over selectie van geneeskundestudenten (het werk niet), naar aanleiding van promotieonderzoek uitgevoerd aan de VU. Beide conclusies behoeven nuancering.
Ten eerste blijkt uit het onderzoek naar matching niet dat matching tot minder studie-uitval leidt. Studenten die hebben deelgenomen aan matching vallen minder vaak uit dan studenten die dat niet gedaan hebben.
Uitval
Helaas betreft het hier geen willekeurig ingedeelde experimentele groep en controlegroep. Het lijkt even aannemelijk dat de meer gemotiveerde studenten deelnamen aan de matchingsactiviteiten en zonder matching ook minder vaak zouden zijn uitgevallen. Bovendien zijn er geen aanwijzingen dat onderwijsinstellingen die matching invoerden, minder uitval of een verminderde uitval hadden ten opzichte van onderwijsinstellingen die dat niet aanboden.
Daarnaast worden er erg weinig negatieve of ‘twijfel’ adviezen aan studenten gegeven na matching, en worden zulke adviezen vervolgens ook vaak zonder verdere activiteiten in de wind geslagen. Deze resultaten lenen zich niet voor harde conclusies over de effectiviteit van matching, maar zeker ook niet voor de conclusie dat matching werkt.
Effecten
Aan de VU is door Anouk Wouters onderzoek gedaan naar het effect van decentrale selectie op de kwaliteit van geneeskundestudenten. Wat interessant is aan dit onderzoek is dat niet alleen gekeken is naar effecten op de kwaliteit van ingestroomde studenten, maar ook naar de effecten van selectie op de aanmelding voor een geneeskundestudie en op de diversiteit van de studentenpopulatie.
Als conclusie over het effect van selectie op de kwaliteit van geneeskundestudenten werd echter gesteld dat selectie geen verschil maakt ten opzichte van loting. Voor de huidige Nederlandse context klopt dat, aangezien de base rate (het aandeel aanmelders dat geschikt is) en de selectieratio (het aandeel aanmelders dat wordt toegelaten) beide relatief hoog zijn.
Alternatief
Zoals ook in het proefschrift wordt genoemd, valt aan de hand van zulke gegevens eenvoudig na te gaan wat het effect van selectie zou zijn met behulp van Taylor-Russel tabellen of een online calculator. Als alternatief wordt voorgesteld dat men misschien niet moet selecteren op capaciteiten, maar op ‘niet-schoolse persoonlijke vaardigheden’.
Ook het effect van dat alternatief kan eenvoudig bekeken worden, en het effect is nog geringer dan wanneer men op capaciteiten zou selecteren (zie Niessen & Meijer, 2015; 2016 voor uitgewerkte rekenvoorbeelden). De reden is dat zaken als persoonlijke vaardigheden vaak minder sterk samenhangen met prestaties dan capaciteiten. Dit alternatief is dus niet aan te bevelen.
Selectie zal inderdaad niet tot veel betere (geneeskunde)studenten leiden in de huidige context, maar die conclusie is zeker niet algemeen geldig. In situaties waarin er minder mensen geschikt zijn, of waarin strenger wordt geselecteerd, zal die conclusie anders uitpakken. Bovendien is de methode van selectie of matching ook van groot belang, en dan vooral de mate waarin prestaties tijdens de selectie of matching samenhangen met latere (studie)prestaties.
Gefaket
Als die samenhang ontbreekt, zal er zeker geen effect zijn. Gezien de grote rol van vragenlijsten in matchingsprocedures is er van matching in de huidige vorm niet veel effect te verwachten. Uit eigen onderzoek is namelijk gebleken dat vragenlijsten veel gefaket worden en dat dit de voorspellende waarde niet ten goede komt.
Het is, kortom, niet zinvol om matching en selectie in het algemeen als wel of niet effectief te verklaren. Meer aandacht voor de specifieke invulling en de context is nodig en leidt bovendien tot praktisch toepasbare inzichten die de effectiviteit van matching en selectie ten goede kunnen komen.
Susan Niessen, MSc., promovendus Psychometrie & Statistiek, project selectie in het onderwijs
Prof. dr. Rob Meijer, hoogleraar Psychometrie & Statistiek
Prof. dr. Bernard Nijstad, hoogleraar Besluitvorming en Organisatiegedrag
Dr. Hans Beldhuis, dossierhouder Selectie & Plaatsing