Zes maanden had ze gewacht op een reactie van het wetenschappelijk tijdschrift. Zes maanden van telkens opnieuw haar mailbox checken en hopen dat haar paper over veroudering bij zebravinken geaccepteerd zou worden. Dat zou dan voor het eerst zijn dat er een nieuwe interpretatie van de data wereldkundig gemaakt werd. 

Maar toen promovendus evolutiebiologie Marianthi Tangili eindelijk uitsluitsel kreeg, was het antwoord vernietigend. ‘Ik was zo van slag, ik moest gewoon huilen’, blikt ze terug. 

Degene die haar paper beoordeelde, had wat goede punten, moet ze toegeven. Maar die waren in extreem harde bewoordingen opgeschreven. ‘Gewoon heel gemeen.’ Ze ging daardoor aan al haar werk twijfelen. Had ze zichzelf voor de gek gehouden, dat ze dacht dat dit het publiceren waard was? Waren zij en al haar co-auteurs dom?

Haar supervisor adviseerde haar om een paar dagen iets anders te gaan doen en dan met een frisse blik opnieuw naar het commentaar te kijken. Dat hielp, zegt ze. ‘Je moet je gewoon niets persoonlijk aantrekken. Je moet vertrouwen hebben dat je werk goed is en dat het z’n plek wel zal vinden. Al is het niet in een toptijdschrift, het wordt op een gegeven moment gepubliceerd.’ 

Maar, zegt ze, de reviewer pakte het wel verkeerd aan. Natuurlijk, je moet eerlijk zijn, maar dat kan ook op een aardige manier. ‘Als de eerste auteur een promovendus is, dan is de keiharde aanpak niet de juiste.’

Problemen

Het peerreviewsysteem houdt in dat wetenschappers het werk van een collega beoordelen – doorgaans anoniem – om na te gaan of het gedegen onderzoek is dat gepubliceerd mag worden in het tijdschrift waar het is ingediend. Het idee is dat feedback van andere experts de auteurs aanmoedigt om beter werk af te leveren, wat goed is voor de wetenschap. Maar het proces is bepaald niet zonder problemen.

Julien van der Ree, promovendus bij het Zernike Institute for Advanced Materials, kan zich de onaangename situatie rond zijn tweede paper nog precies herinneren. Een van de reviewers was heel tevreden over het stuk en vroeg alleen maar wat hij hierna ging onderzoeken, maar de tweede had veel te klagen. 

Als de eerste auteur een promovendus is, moet je niet keihard zijn

‘Hij was boos’, zegt Van der Ree. ‘Je kon het gif in zijn taalgebruik proeven. Hij had commentaar op onze taal. Ik heb een paar jaar in Canada gewoond en mijn Engels is volgens mij van native niveau, maar deze reviewer had meer dan veertig opmerkingen alleen al over het Engels.’ 

Van der Ree verwerkte al die punten in zijn herziene versie, maar de reviewer bleef klagen over de taal. ‘Hij was toen nog harder en zei dat we dingen beweerden zonder ze te onderbouwen. We begonnen ons toen wel af te vragen wie die persoon toch was.’ 

Ze bedachten opeens dat ze in het stuk een onderzoeker hadden aangehaald wiens uitkomsten ze ‘ietwat twijfelachtig’ noemden. ‘Dus we vroegen het tijdschrift om diegene alsjeblieft niet te laten reviewen.’

Van der Ree weet nog altijd niet of het om dezelfde persoon ging. Maar het paper werd wel afgewezen. ‘De hoofdredacteur zag zowel een positieve als een negatieve beoordeling en besloot het niet te doen. Dat voelde enorm rot.’ 

Controverses

Maar zijn die gekwetste gevoelens en het lange wachten op een reactie dan in elk geval de moeite waard? Zorgt peerreviewen inderdaad voor betere wetenschap? 

Rink Hoekstra, hoofddocent aan de Faculteit Gedrags- en Maatschappijwetenschappen, is daar niet zo zeker van. Veel van zijn werk is gericht op de robuustheid en de kwaliteit van onderzoek en de onderliggende processen.

‘Zowel het brede publiek als wetenschappers zelf zien peerreviews als vertrouwenwekkend’, zegt hij. ‘We gaan ervan uit dat het iets goeds is, dus zetten we er niet te veel vraagtekens bij. Maar de essentie van een wetenschapper is dat je overal kritisch naar kijkt, dus ook naar onze eigen werkwijzen.’ 

Peerreviewen zou ervoor moeten zorgen dat slecht onderzoek niet gepubliceerd wordt, maar slaagt daar niet in, stelt Hoekstra. Er zijn genoeg gevallen bekend van onderzoek dat de beoordeling doorstond terwijl het later gemankeerd bleek te zijn. ‘Sommige studies hebben geprobeerd om eerder gepubliceerd onderzoek te repliceren en dat lukte dan niet.’

Waarschijnlijk het bekendste Nederlandse voorbeeld van het falen van het peerreviewsysteem: de affaire rond sociaal-psycholoog Diederik Stapel. In 2011 bleek dat hij de data in zeker 55 van zijn publicaties verzonnen had. Stapel – die ook een aantal jaar als hoogleraar aan de RUG werkte – leverde daarop zijn doctorstitel in bij de Universiteit van Amsterdam.   

Of neem het onderzoek van sociaal-psycholoog Daryl Bem naar het ‘voelen van de toekomst’, dat in een gerenommeerd tijdschrift werd gepubliceerd maar vervolgens zware kritiek kreeg. De methodologie zou niet kloppen en het onderzoek kon ook niet gerepliceerd worden. De kwestie joeg een breder debat aan over de deugdelijkheid van het peerreviewproces. 

Stempel van goedkeuring

Het probleem, volgens Hoekstra, is dat je met een peerreview alleen maar publicatie van een slecht stuk voorkomt in één specifiek tijdschrift. Je beschermt dus niet de wetenschap in z’n geheel. ‘Want als een auteur wordt afgewezen door het ene tijdschrift, biedt die het gewoon aan bij het volgende, en het daaropvolgende.’ Net zo lang tot er wel iemand ‘ja’ zegt. 

Het helpt ook niet mee dat hoofdredacteuren hun eigen gang kunnen gaan, zegt hij. Zij kiezen de reviewers en voor de auteurs is er een prikkel om te doen wat de reviewers zeggen.

Een afgewezen auteur biedt zijn stuk aan bij het volgende tijdschrift

En toch wordt peerreview zowel binnen als buiten de academische gemeenschap gezien als een stempel van goedkeuring. ‘Maar het betekent niet automatisch dat het onderzoek goed is’, benadrukt Hoekstra. ‘Alleen maar dat er een paar mensen naar gekeken hebben en dat ze geen fouten gevonden hebben.’

Zelfs degenen die zich bewust zijn van de tekortkomingen van het systeem denken dat er weinig alternatieven zijn, zegt postdoc psychiatrie Maurits Masselink, bestuurslid van de Open Science Community Groningen (OSCG). ‘Ze hebben het idee dat we het hiermee moeten doen en willen het systeem gewoon verbeteren. Maar we weten überhaupt niet eens of het werkt.’ 

Ondertussen loopt het vertrouwen in de wetenschap gevaar, vrezen Masselink en Hoekstra – die ook in het OSCG-bestuur zit. Hun antwoord op dat probleem? Open science. 

Transparanter

Open science draait niet alleen om het vrij beschikbaar maken van papers; maar ook om transparantie bij peerreviews – naam en toenaam gebruiken, opmerkingen van reviewers publiceren, een algemene reactiemogelijkheid aanbieden na verschijning. Ook staat open science voor het openbaar maken van datasets en voor het bestraffen van onzuivere wetenschap. 

Als je weet dat iedereen je review leest, worden, schrijf je anders

Een openbare discussie zou voor meer wisselwerking zorgen en van peerreviewen een gezamenlijk proces maken, is het idee. Dan zou bijvoorbeeld ook duidelijk zijn geworden of er sprake was van belangenverstrengeling bij de onderzoeker die bleef hakken op het Engels van Van Ree. En zou Tangili’s reviewer misschien wat vriendelijker bewoordingen hebben gebruikt. 

En het zou daarnaast het antwoord kunnen zijn op een ander probleem in de academische wereld: negatieve bevinden en replicatiestudies zijn weliswaar waardevol, maar ze worden nauwelijks gepubliceerd.

Het doel is niet om het huidige systeem van peerreview opzij te schuiven, zegt Hoekstra, maar om het te verbeteren. ‘Het idee achter open science is dat we de kwaliteit van onderzoek op een bredere, transparantere en eerlijkere manier beoordelen.’

Negatief effect

Maar hij weet ook dat het lastiger gaat zijn om reviewers te vinden als hun commentaar openbaar wordt – iets wat ondersteund wordt door onderzoek. Nu al is slechts 10 procent van de reviewers verantwoordelijk voor 50 procent van alle reviews. Je moet dus een middenweg zien te vinden. 

‘Als je weet dat je review door iedereen gelezen kan worden, schrijf je waarschijnlijk anders’, legt hij uit. ‘En als je aan het begin van je wetenschappelijke carrière zit, ben je misschien bang dat het een negatief effect gaat hebben als je kritiek hebt op een prominente collega.’ 

Masselink denkt dat je dit kunt ondervangen door de reviews weliswaar openbaar te maken, maar de reviewers zelf te laten besluiten of ze die met hun naam willen ondertekenen.

Een uitgebreider beoordelingsproces zou ook goed kunnen zijn voor de wetenschap als geheel, denkt hij. ‘Een auteur stuurt zijn onderzoeksplan met de inleiding, methodes, onderzoeksvragen, hypothese. Tijdschriften kunnen dat dan voorlopig accepteren, wat betekent dat ze het ongeacht de uitkomsten gaan publiceren.’

Als het uiteindelijke artikel dan opgestuurd wordt, hoeft de redacteur alleen nog maar na te gaan of ze volgens plan gewerkt hebben. ‘Openheid maakt het mogelijk om na te gaan wat er gedaan is en of het goed is geweest voor de kwaliteit van het onderzoek. Nu hebben we geen idee wat er gebeurd is en weten we niet wat wel werkt en wat niet.’

Engels