Onderzoeksvoorstellen worden beoordeeld door commissies van experts, terwijl bekend is dat dat niet altijd eerlijk is. Er is maar één oplossing, stelt columnist Dirk-Jan Scheffers: loten.
Bij de kerstkaart van mijn (Spaanse) schoonouders zat een tiende lot voor El Gordo, de Spaanse kerstloterij met een ‘dikke’ hoofdprijs. Omdat de loten per tiende gaan, worden ze vaak door families, straten en dorpen gedeeld en dat verhoogt de feestvreugde bij winst.
Spanjaarden zijn gek op loterijen en kansspelletjes. We hebben daar wel eens staan kijken naar een os die over genummerde vakken werd geleid. Waar de os ging poepen, was het prijs. De grote winnaar van zo’n loterij is natuurlijk altijd de organisator. Bij El Gordo is dat de Spaanse overheid, bij de poepende os de lokale stierenclub.
Op dit moment wordt het meeste geld voor wetenschappelijk onderzoek verdeeld via competities. Een belangrijk criterium in de beoordeling van wetenschappelijke staf is dan ook het vermogen om dergelijke competities te winnen. Dit bepaalt of onderzoek kan worden gedaan of voortgezet, maar is ook een belangrijk criterium in bevorderingsprocedures.
Zo’n competitie werkt ongeveer als volgt. Een wetenschapper, of een groep wetenschappers en andere partners, schrijft een onderzoeksvoorstel. Dat voorstel wordt beoordeeld door experts (peerreviewers). Soms mag de aanvrager reageren op de peerreview, of in een interview extra uitleg geven.
In de praktijk zijn er veel meer goede voorstellen dan dat er geld is
Vervolgens gaat een commissie van andere wetenschappers kijken welke voorstellen het meest excellent zijn. Omdat er in de praktijk veel meer goede voorstellen zijn dan dat er geld is, verzucht menig deelnemer dat de competitie eigenlijk een loterij is.
Inmiddels is er veel wetenschappelijk onderzoek verricht naar het verdelen van geld op basis van excellentie. Wat blijkt? Het is allesbehalve excellent.
Commissies en peerreviewers zijn slecht in staat om het succes van een aanvraag te voorspellen, en interdisciplinair onderzoek – waar iedereen de mond vol van heeft – scoort slechter omdat mensen slecht over de grenzen van hun eigen vakgebied heen kunnen kijken. Werkelijk baanbrekende voorstellen doen het minder goed omdat commissies in de praktijk meestal kiezen voor iets vertrouwds.
Dan heb ik het nog niet gehad over de (onbewuste) vooroordelen van de beoordelaars. Vrouwen en minderheden staan bij voorbaat op achterstand, terwijl een slecht voorstel van een gevestigde naam toch een goede kans maakt. Nobelprijswinnares Katalin Karikó kreeg jarenlang geen onderzoeksgeld en werd door haar universiteit weggestuurd; niemand geloofde voldoende in haar idee om mRNA-vaccins te ontwikkelen.
Er zijn geen commissies nodig, er is geen gezeur achteraf
Er is een eenvoudige, wetenschappelijk verantwoorde oplossing voor dit tijdrovende en dure circus, en dat is loten. Tussen alle voorstellen die na een korte toets door experts goed in elkaar lijken te zitten, wordt geloot.
Dat scheelt veel mensen, veel tijd. Er zijn geen commissies nodig, er is geen gezeur achteraf. Vooroordelen of vriendjespolitiek zijn uitgesloten. Bovendien scheelt het frustratie, want een loterij verliezen voelt anders dan te horen dat je voorstel wel goed was, maar nét niet goed genoeg.
Te veel wetenschappers geloven, ondanks het bewijs van het tegendeel, nog steeds in het meritocratische financieringsmodel; af en toe winnen kietelt het ego. Onderzoeksfinanciers zijn bang voor het beeld dat zij gaan ‘gokken’ met de hen toevertrouwde fondsen.
Jammer, want als zelfs de voormalig NWO-voorzitter deze competities een loterij noemt, voeg dan de daad bij het woord.
DIRK-JAN SCHEFFERS