‘Hoe zou je het noemen als ik van de kerktoren viel en heelhuids beneden kwam?’, begint een priester die aan een boer probeert uit te leggen wat een wonder is. ‘Toeval’, antwoordt de boer. ‘En als ik nog eens viel, en ik had weer niets gebroken?’ ‘Nog een toeval’, houdt de boer stug vol. ‘En als het me voor een derde keer zou overkomen?’, vraagt de priester voor de laatste keer. ‘Gewoonte’, antwoordt de boer.

Misschien dat veel wetenschappers, wanneer ze aan ‘gewone mensen’ proberen uit te leggen hoe fascinerend hun vakgebied is, zich een beetje voelen als de priester – denk aan de turbo-professoren die als gedrogeerde sjamanen in DWDD, wild gebarend, over hun vak mogen spreken, waarna ze van Matthijs van Nieuwkerk de zegen krijgen – maar eigenlijk zou onze sympathie beter bij de boer kunnen liggen. Misschien minder slim en welbespraakt, maar van nature achterdochtig laat hij zich niet zo snel van zijn stuk brengen. Een wonder? Ze kunnen hem wat.

Ik moest aan deze anekdote denken – die trouwens ergens in het werk van de historicus A.J.P. Taylor (1906-1990) is te vinden – toen er deze week werd geschreven over de gebrekkige repliceerbaarheid van veel psychologisch onderzoek. Repliceerbaarheid is belangrijk, want we willen weten of een bevinding echt iets zegt over menselijk gedrag – een ‘gewoonte’ is – of een slechts een toevallige uitkomst.

Het staat er dus bedroevend slecht voor met de repliceerbaarheid van veel psychologisch onderzoek. Van honderd herhaalde experimenten, ooit gepubliceerd in gerenommeerde tijdschriften, hielden er slechts 39 stand, waarbij maar liefst 83 ook nog veel minder overtuigende resultaten gaven dan het oorspronkelijke onderzoek. Bovendien hielden spectaculaire bevindingen het minst vaak stand en waren het vooral studies met weinig verrassende resultaten die zich lieten repliceren.

Anders gezegd, een priester die na een eerste sprong wonder boven wonder heelhuids overeind krabbelt, slaat hoogstwaarschijnlijk bij de tweede keer keihard te pletter op de plavuizen.

‘Psychologen in de war’, kopte de NRC boven een redactioneel naar aanleiding van dit replicatieonderzoek. Er werd daarin gesproken van ‘antireclame’ en ‘een ramp’ voor het vakgebied. Dat kun je wel zeggen.

Ik moest onwillekeurig denken aan de nieuwe eerstejaarsstudenten die met goede moed beginnen aan de studie psychologie. Ze moeten daarvoor een dikke inleiding in het vak bestuderen dat volstaat met onderzoek waar psychologen doorgaans van vinden dat het de state of the art vertegenwoordigt. Gaan we onze studenten nu vertellen dat mogelijk maar 39 procent van wat er in het boek staat daadwerkelijk klopt en dan nog met name de dingen die weinig verrassend zijn, zodat ze dat waarschijnlijk ook wel geweten hadden zonder psychologie te studeren?

De ramp zou nog te overzien zijn als dit probleem exclusief was voor de psychologie, maar in Nature verscheen deze week een artikel waaruit we volgens een van de auteurs, in een gesprek met de Volkskrant, mogen concluderen dat naar schatting 70 procent van het medisch onderzoek niet reproduceerbaar is. Het kan direct de prullenbak in.

Misschien dat we in de toekomst beter alleen nog publiceren als we, net als bij de springende priester, een onderzoek drie keer hebben weten herhalen en bij gelijke uitkomst veilig mogen spreken van een gewoonte. Dat vergt echter zoveel discipline en zelfkritiek, en niet te vergeten moed, bij onderzoekers en tijdschriften dat we waarschijnlijk mogen spreken van een wonder als dat ooit lukt.