Wetenschap

Klooien met data

Rammelend onderzoek is link

Je kunt afwijkingen buiten je onderzoek laten. Extra deelnemers verzinnen. Onderzoekers hebben talloze technieken om hun data te optimaliseren: alles voor een significant resultaat.
Door Emily Howard / Illustratie Kalle Wolters / Vertaald door Sarah van Steenderen

Stephan Schleim schrok behoorlijk toen hij de data onder ogen kreeg van het project waar hij aan werkte met een collega. Tot zijn ontsteltenis zag hij dat de gegevens waren gemanipuleerd. ‘Hij had gewoon alle data van proefpersonen wier gedrag niet voldeed aan onze hypothese verwijderd’, zegt Schleim, die psychologie doceert aan de RUG. ‘Natuurlijk hadden we toen meteen een significant effect.’

Verbaasd was Schleim echter niet: hij weet dat dit soort dingen maar al te vaak gebeurt. Toch wilde hij niet meer met deze onderzoeker samenwerken. ‘Ik zette de samenwerking stop en voor zover ik weet is het artikel nooit gepubliceerd’, zegt hij.

Maar heel vaak worden zulke artikelen wél gepubliceerd. Van slechts 37 van de honderd psychologieartikelen die in 2008 het levenslicht zagen, was het onderzoek reproduceerbaar – en de effecten waren veel beperkter. Veel van deze onderzoekers zouden hun data ‘optimaliseren’.

Heilig

‘Het ene uiterste is dat van mensen die roomser zijn dan de paus, maar die bestaan eigenlijk niet echt. En aan de andere kant van het spectrum heb je opzettelijke manipulatie met het doel om te misleiden. De meeste onderzoekers zitten daar ergens tussenin’, zegt psychologiedocent Anastasios Sarampalis.

Falen mag niet in de wetenschappelijke wereld

Onderzoekers laten variabelen weg die een bepaald resultaat opleveren, of voegen ze toe. Of ze gebruiken computerprogramma’s om tussentijds hun resultaten te toetsen. Zodra er dan een significant resultaat uitrolt, is het experiment voorbij.

Er zijn talloze manieren om de resultaten te verkrijgen die je wilt, legt statisticus Rink Hoekstra uit. ‘En veel daarvan lijken doodnormaal voor de meeste mensen, zoal het toevoegen van een paar proefpersonen. Maar in feite is dat net zoiets als heel vaak met een dobbelsteen gooien en dan roepen: “Hee, een zes!”’

Falen mag niet

Een van de verklaringen voor dergelijk problematisch onderzoeksgedrag is de manier waarop publiceren werkt. Om je artikel in een tijdschrift te krijgen, moeten je resultaten statistisch significant zijn. ‘Met een p-waarde van minder dan 0,05 kan je publiceren, maar als je daar overheen zit niet’, legt Nick Brown uit, die promoveert aan de medische faculteit.

‘Onderzoekers staan ontzettend onder druk om met statistisch significante data te publiceren in de juiste vakbladen. Alleen dan kun je carrière maken in de wetenschap’, zegt Schleim. Subsidies of een tenure-track gaan alleen naar onderzoekers die voldoende gepubliceerd hebben, legt hij uit. ‘De concurrentie is echt moordend: als je toegeeft dat je onderzoek niet werkt, lig je er zo uit. Falen is geen optie in de wetenschap.’

Brown is het met hem eens. ‘Het zijn heus geen slechte mensen, maar ze zijn gewoon tot veel bereid om de toekomst van hun salarisstrookje te garanderen’, zegt hij.

Betaald per patiënt

Twijfelachtige onderzoekspraktijken zijn bovendien niet beperkt tot de maatschappijwetenschappen. ‘Ook artsen verzinnen soms gegevens, omdat ze per patiënt betaald worden. Dus voor elke nieuwe patiënt krijgen ze extra geld’, legt Hans Burgerhof van de medische faculteit uit. Maar, voegt hij er snel aan toen, dit gebeurt niet vaak.

Tamalika Banerjee geeft colleges medische integriteit aan de Faculty of Science and Engineering. Zij stelt dat het probleem minder vaak voorkomt dan vroeger. In 2002 werd de Duitse natuurkundige Jan Hendrik Schön ontmaskert als fraudeur. ‘Daardoor durfden meer mensen zich uit te spreken, en daarom zijn we nu ook zo goed in het herkennen van wangedrag’, legt Banerjee uit.

Bètastudenten moeten tegenwoordig verplicht een vak wetenschappelijke integriteit volgen. Ze leren over hun ethische verantwoordelijkheid en hoe ze wetenschappelijk wangedrag kunnen herkennen.

Statistisch oninteressant

Maar wangedrag is niet altijd het gevolg van kwade opzet. Statisticus Casper Albers suggereert dat onderzoekers gewoon onvoldoende kennis van statistiek hebben. ‘Het klinkt natuurlijk heel logisch, als je zegt: “Laat ik tien extra proefpersonen toevoegen om te zien of ik daarmee een significant resultaat kan halen”’, zegt Albers. ‘Maar je moet een statisticus zijn om te snappen dat je dan in feite de berekening van de p-waarde verandert.’

Doodeng dat het in ons publicatiesysteem blijkbaar niet uitmaakt of je gegevens wel of niet kloppen

‘Je statistiek goed gebruiken lijkt meer op het besturen van een vliegtuig, dan op autorijden’, voegt Brown toe.

Bovendien, leunen op statistische significantie maakt je onderzoek niet per se van belang. ‘Het halen van die drempel is een soort fetisj geworden, maar een statistisch significant resultaat is niet per definitie ook interessant’, zegt Schleim.

Dodelijke gevolgen

Los van wat voor bedoelingen iemand heeft: het manipuleren van gegevens kan behoorlijk schadelijke gevolgen hebben. ‘Als betrekkelijke nieuwkomer in de wetenschap vond ik het echt doodeng om te ontdekken dat het ons publicatiesysteem worst zal zijn of je resultaten kloppen of niet’, zegt Brown. Nog erger zijn de gevolgen die deze studies kunnen hebben in de maatschappij.

‘Rammelende resultaten worden opgepikt door de communicatieafdelingen van universiteiten, door de media en het grote publiek. En dan ontstaat er een feedbackloop voor ontzettend gevaarlijke wetenschap’, zegt Sarampalis. Hij doelt op de zaak-Wakefield, waarbij een Britse arts beweerde dat hij een verband had gevonden tussen vaccinatie en autisme. Dit had tot gevolg dat duizenden ouders besloten hun kinderen niet meer in te laten enten, waardoor ziekten die al bijna uitgeroeid waren weer terugkwamen.

‘Zo werkt het niet’

Hoe kunnen we voorkomen dat wetenschappers hun data verfraaien? Hoekstra denkt dat een zorgvuldiger publicatiebeleid kan helpen. Denk aan inschrijving vooraf, waarbij bladen beloven een onderzoek te publiceren ongeacht de resultaten. ‘Als bladen de onderzoeken kunnen uitkiezen nadat ze de resultaten hebben gezien, kunnen ze de krenten uit de pap halen en de rest laten liggen.’ Maar wetenschap is meer dan krenten alleen, zegt Hoekstra. Registratie vooraf is al gebruikelijk voor medische artikelen, omdat die vaak erg duur zijn en van tevoren gefinancierd moeten worden.

Dit soort openbare artikelen wordt wel acht keer vaker geciteerd

Een andere oplossing is het publiceren van de data zelf. ‘Als wetenschap werkelijk om publiceren draait – om het openbaar maken van informatie – dan is het vreemd dat we het er überhaupt over moeten hebben of mensen wel of niet hun data delen’, zegt Schleim.

Open data zijn de norm bij natuurkunde, waar wetenschappers hun studies vaak baseren op technieken die bij eerdere datasets al gebruikt zijn. RUG-beleid is – voor alle velden – dat onderzoekers hun data moeten opslaan op een interne harde schijf, waar ook andere onderzoekers toegang toe hebben.

Het delen van data heeft ook voordelen voor onderzoekers, zegt Albers. ‘Onderzoek toont aan dat je vaker geciteerd wordt als de data achter je onderzoek openbaar zijn. Open access artikelen worden zelfs acht keer vaker geciteerd’, zegt hij.

Druk van de ketel

Schleim denkt echter niet dat dergelijke maatregelen de oplossing zijn. ‘Regels gaan het probleem niet oplossen’, zegt hij. Mensen zullen altijd nieuwe manieren vinden om hun data te optimaliseren. ‘Maar wat we echt niet meer kunnen negeren is dat de druk van de ketel moet. Dit is niet alleen schadelijk voor wetenschappers, maar ook voor de wetenschap zelf.’

De nieuwe generatie raakt zich meer en meer bewust van het gevaar dat klooien met data oplevert. De colleges wetenschapstheorie besteden aandacht aan de validiteit van onderzoeken en het gevaar van verkeerd weergegeven data. Ze leren niet alleen statistische methoden en technieken, maar ook hoe ze die in verschillende contexten moeten gebruiken – en wat het risico is van verkeerd gebruik.

‘Als ik optimistisch ben, dan zeg ik dat er een hernieuwd besef is van het belang van kwalitatief goed onderzoek’, zegt Sarampalis. ‘Net als bij veel andere dingen vestig ik mijn hoop op de komende generatie: dat ze deze nieuwe manier van denken omarmen.’

English

1 REACTIE

LAAT EEN REACTIE ACHTER

Please enter your comment!
Please enter your name here