De afgelopen paar jaar is psychologisch onderzoek regelmatig negatief in het licht gekomen. Diederik Stapel, de reproduceerbaarheidscrisis (een groot deel van de psychologische resultaten blijkt niet te reproduceren te zijn – best een dingetje) en nu vorige week weer het nieuws van enkele Tilburgse methodologen dat er (grove) onzorgvuldigheden staan in de rapportages van veel psychologische studies.

Al deze berichtgeving leidt tot de indruk dat psychologen een soort tweederangswetenschappers zijn die geen verstand hebben van statistiek en het niet zo nauw nemen met de ethische regels van de wetenschap. Dat is een verkeerde voorstelling van zaken.

Statistiekbasis

Ten eerste hebben psychologen best verstand van statistiek – zeker als je het vergelijkt met andere vakgebieden. De statistiekbasis die in de bacheloropleiding psychologie gelegd wordt, is (een stuk) groter dan die in opleidingen als economie, rechten, biologie en medische wetenschappen.

Ten tweede is het niet zo dat psychologie het enige vakgebied is waar veel meer fout gaat dan fout zou moeten gaan. Het klopt dat opvallend veel van de dubieuze en ronduit frauderende gevallen uit de (Nederlandse) sociale psychologie komen (Diederik Stapel, Jens Förster, Dirk Smeesters, etc.). Een blik op retractionwatch.com – een website met een overzicht van teruggetrokken publicaties – laat duidelijk zien dat er in alle takken van wetenschap rotte appels zitten die via valsspelen tot publiceren komen.

Probleem van de wetenschap

Ook zijn er zeer sterke signalen dat de structurele problemen van de psychologie – het onvermogen resultaten te reproduceren en het selectief shoppen in onderzoeksresultaten om een mooi verhaal te krijgen – geen probleem van de psychologie maar van de wetenschap als geheel zijn. De oorzaak ligt bij de huidige praktijk van communicatie van wetenschapsresultaten. Tijdschriften zijn niet geïnteresseerd in artikelen waarin interessante theorieën ontwikkeld worden, gevolgd door een empirische toets waaruit blijkt dat het veronderstelde verband toch niet aanwezig is.

Tijdschriften willen alleen significante resultaten, wat leidt tot het zogenaamde file-drawer effect: ‘nulresultaten’ verdwijnen in de la en toevallige significante resultaten komen door de peer review. Omdat de carrièremogelijkheden – en zelfs baanzekerheid – van wetenschappers niet meer zozeer bepaald wordt door hoe slim men is, maar door hoeveel publicaties men in toptijdschriften krijgt, zijn er continu perverse prikkels om binnen het grijze gebied van de questionable research practices toch maar te proberen dat ene effect van nét niet significant naar net wél significant te krijgen. Want dan kom je in dat mooie tijdschrift, krijg je een onderzoeksbeurs, een vast contract, et cetera. Omdat dit een probleem van de hele (experimentele) wetenschap is, is het ook de taak van de hele wetenschappelijke gemeenschap om dit probleem goed aan te pakken.

De oplossing

Dat er sinds Stapel steeds weer psychologen negatief in het nieuws komen, is geen indicatie van het probleem, maar van de oplossing. Als er op de A6 meer snelheidsboetes per duizend auto’s worden uitgedeeld dan op de A7, is dat geen bewijs dat er op de A6 vaker te hard gereden wordt; het kan ook zijn dat er op de A6 vaker of betere snelheidscontroles zijn. En dat is precies wat hier speelt: waar bij andere vakgebieden het besef nog onvoldoende is doorgedrongen, is het binnen de psychologische gemeenschap duidelijk dat het zo niet langer kan.

Samen met methodologen, statistici en psychometristen lopen psychologen nu voorop in de strijd voor betere wetenschap (door middel van preregistratie, transparantie en open access, post-peer-review-tools en andere onderzoeksmethoden) met minder systeemfouten en betere mogelijkheden om rotte appels te detecteren. Psychologen zijn niet slecht in statistiek. Juist niet.

Nu de rest nog.

Casper Albers is statisticus bij de Faculteit Sociale en Gedragswetenchappen