Boost je ranking

En weer ging er iets mis in onderzoeksland. Een onderzoeker uit Wageningen werd onlangs op de vingers getikt, omdat ze zich schuldig gemaakt had aan citatiepushing. Ofwel: wanneer ze een artikel aangeboden kreeg om dat anoniem te reviewen, dan schoof ze haar eigen publicaties naar voren. De auteur moest toch écht nog even kijken naar…

Haar H-index (het cijfer dat aangeeft hoe belangrijk je artikel is) schoot omhoog en daarmee haar reputatie en kansen voor een succesvolle subsidieaanvraag.

Laakbaar, vond de integriteitscommissie van de universiteit. Een formele reprimande bleef weliswaar uit, maar dat niet van harte. De reden: de Nederlandse Gedragscode Wetenschapsbeoefening zegt – vooralsnog – niets zegt over deze nieuwe vorm van fraude.

Accumulatiestrategie

‘Het is symptomatisch voor wetenschap die extreem op cijfers gericht is’, zegt statisticus Rink Hoekstra van de RUG. ‘Alles draait tegenwoordig om externe zaken als impact factor en H-index. En dan gaan mensen zich ernaar gedragen. Zeker als je niet zo sterk in je schoenen staat.’

Hij kent weliswaar geen gevallen van citation pushing uit zijn eigen onderzoeksveld, maar net als vele van zijn collega-wetenschappers aan de RUG weet hij instinctief wat er met het woord wordt bedoeld; toptijdschriften en ranglijsten domineren de wetenschap. ‘Jonge onderzoekers moeten wel een soort accumulatiestrategie volgen als ze verder willen,’ zegt ook sociaal geografe Bettina van Hoven.

Ook zij herkent de situatie waarin ze een artikel indient bij een tijdschrift, maar de opmerkingen voor verbetering op zijn minst een bijsmaakje hebben. En zij is niet enige. ‘Dan zie je een suggestie en dan denk je: dit is wel heel kunstmatig’, zegt neuropsycholoog André Aleman. ‘Al weet je het natuurlijk nooit helemaal zeker. Het blijft immers een blind review.’

‘Soms voel je wel aan dat iemand zichzelf naar voren schuift’, zegt evolutionair bioloog Gert Stulp. ‘Dan is de suggestie een beetje vaag ingeleid en dan weet je het wel.’

Grijs gebied

Het grote probleem blijft echter dat het een ‘gevoel’ is. Het geval in Wageningen kwam naar boven omdat de onderzoeker niet de enige was die opportunistisch omging met het becommentariëren van andermans werk. Er was een heel netwerk van ‘pushers’ bezig rond het tijdschrift Earth Matters, waarin ze veel publiceerde. En daardoor begon het op te vallen.

Maar in het geval van een enkele onderzoeker? ‘Dat zet meestal niet veel zoden aan de dijk’, denkt geneticus Lude Franke. ‘Je moet echt heel veel citaties hebben om je ranking te boosten.’

Belangrijker nog is dat het hier gaat om een grijs gebied. De reviewer werd immers gevraagd omdat hij zelf ook publiceert in het betreffende vakgebied. Het is zijn taak – als expert – om te wijzen op fouten en hiaten in het onderzoek dat hij beoordeelt. ‘Ik kan me voorstellen dat je dan snel bij je eigen publicaties terecht komt’, legt Van Hoven uit.

En tenslotte is niets menselijks de reviewer vreemd. ‘Je kent je eigen papers natuurlijk beter dan papers van anderen,’ zegt Gert Stulp. ‘En het is ook nog eens heel menselijk om je eigen werk relevant te vinden.’

Hete hangijzers

De vraag is natuurlijk: wanneer schuif je jezelf te veel naar voren? Is dat al bij één citatie? Of bij tien? Regels ontbreken en dus bepaalt iedere onderzoeker zijn eigen grenzen. Sommigen noemen hun eigen werk maar helemaal niet, om zo integer mogelijk te blijven. Anderen beperken zich tot een enkele verwijzing als ze er echt niet omheen kunnen.

Maar dat geldt voor integere onderzoekers die terughoudend zijn met het doén van suggesties. Maar ook zij kunnen gemakkelijk beïnvloed worden door minder integere collega’s die hun artikelen weer beoordelen. In de meeste gevallen zien ze geen enkele reden om een citatie te weigeren als de reviewer erom vraagt.

‘Het is pick your battles’, stelt Jojanneke Bastiaansen. Ze publiceert al jarenlang over haar eigen onderzoek naar depressie, maar houdt zich ook bezig met overkoepelende onderwerpen zoals de neiging van wetenschappers om te blijven verwijzen naar – beperkt – onderzoek dat een stelling onderbouwt. ‘Soms zijn er echt hete hangijzers. Dat zijn de zaken waarover je de strijd aangaat met reviewers en die je eerst moet aanpakken.’

Wat steeds een grote rol speelt, is de druk om te publiceren. Na maanden of zelfs jaren werk staat een onderzoeker onder grote druk om te publiceren in een tijdschrift met een zo hoog mogelijk citatie-index. ‘En om dat voor elkaar te krijgen, ben je bereid om door een heleboel hoepels te springen’, weet statisticus Hoekstra.

Onredelijk venijnig

Hij maakt zich zorgen over de willekeur in het reviewproces, zegt hij. ‘Soms moet je door heel veel hoepels heen. Soms is er zo weinig commentaar dat je je afvraagt of ze het wel hebben gelezen.’

Combineer dat met andere bezwaren – artikelen die maandenlang blijven hangen in het proces omdat de reviewer zelf nog snel een experimentje wil doen, reviewers die onzinnige eisen stellen of op de persoon spelen – en de vraag is of blind peer review niet hoognodig aan een revisie toe is.

Wat Hoekstra betreft? Volmondig ‘ja’.

Zelf zet Hoekstra daarom uit principe zijn naam onder ieder artikel dat hij reviewt. ‘Als je dán jezelf naar voren haalt, dan heeft dat een prijs. Je gaat gewoon af als je jezelf opdringt!’, zegt hij.

Zijn collega’s zijn het stuk voor stuk met hem eens. ‘Het lost veel op’, beaamt Stulp. ‘Een reviewer wordt bovendien gedwongen er meer werk in te stoppen en niet onredelijk venijnig te zijn.’

Open review

En op die manier kun je misschien ook terug naar datgene waarvoor peer review ooit bedoeld was. Het sámen vooruithelpen van wetenschappelijke kennis. Diverse tijdschriften experimenteren nu al met verschillende vormen van open review.

‘Het British Medical Journal publiceert bijvoorbeeld het hele review-proces’, zegt Jojanneke Bastiaansen. Van Hoven wijst op Social Geography, waar het reviewen een interactief proces is en de referenten online reageren. En dan is er PLoS One, waarvan André Aleman editor is. Daar krijgen reviewers in elk geval de káns om hun naam erbij te zetten. ‘Al zie je wel vaak dat ze dat alleen doen als de review positief is.’

Maar het meest interessant is misschien wel het publiceren van preprints, zoals natuurwetenschappers dat al sinds 1991 doen via het platform ArXiv. Zodra je een artikel af hebt en hebt ingediend bij een tijdschrift, plaats je het ook op ArXiv. De resultaten zijn op die manier meteen beschikbaar voor de wetenschappelijke gemeenschap en bovendien is altijd duidelijk wie de ‘eerste’ was. Een definitieve – wel gereviewde – versie verschijnt dan later in een regulier tijdschrift. Maandelijks verschijnen zo’n 10.000 artikelen online.

Zelfcorrectie

Sinds 2013 hebben de levenswetenschappen een vergelijkbaar platform: BioRxiv. Lude Franke is daar enthousiast over. ‘Ik zet al mijn artikelen daarop!’, zegt hij. ‘Dan bypass je het hele reviewproces. Als het niet goed werk is, en het wordt toch niet gepubliceerd. Dan is er duidelijk iets raars gebeurd.’

Dat het publiceren van de preprints voor de uitgevers geen bezwaar is, blijkt uit een artikel dat een collega twee jaar geleden op BioRxiv plaatste. ‘Het was al duizend keer geciteerd voordat het uiteindelijk in Nature verscheen.’

Wat Franke betreft ligt daar de échte toekomst. ‘Internet is een uitstekende manier van zelfcorrectie. Ik denk dat er een hoop gaat gebeuren. Maar hoe dat uitpakt, durf ik niet te zeggen.’

Engels