De onzin van internationale rankings
De lijst der lijsten
De RUG zet zichzelf graag neer als top 100-universiteit. Toch neemt noch collegevoorzitter Poppema, noch rankings-expert Jules van Rooij de ranglijsten erg serieus. ‘Geen enkele overall ranking is zinvol.’
Maar internationale studenten hechten wel belang aan deze lijstjes: de plaats in de ranglijsten bepaalt voor een groot deel hun keuze voor een universiteit.
Vandaar dat de ranglijsten wel veel aandacht krijgen en Van Rooij hard werkt om de methodologie te doorgronden.
De beste, oudste en meest stabiele lijst is de Shanghai-ranglijst. De RUG zou de top 50 kunnen halen, denkt Poppema, onder andere door de uitbreiding naar Yantai.
De andere ranglijsten, die van Quacquarelli Symonds (QS) en Times Higher Education (THE), gaan vooral over reputatie en geven daardoor weinig objectieve informatie.
QS en THE zijn bovendien commerciële bedrijven die geld verdienen door universiteiten te ‘helpen’ met data-analyse. Ook zouden ze de methodologie vaak wijzigen om verschuivingen en daarmee aandacht te genereren.
Leestijd: 14 minuten (2185 woorden)
Dit artikel is een geactualiseerde versie van een verhaal dat de UK eerder publiceerde (in september 2015). Alle ranglijstposities en methodieken zijn – waar nodig – geüpdatet.
Het is bizar. Die rankings die telkens weer opduiken in kranten, beleidsvergaderingen of berichten op de RUG-website, de ranglijsten waarmee de RUG zich trots afficheert als een ‘top 100’-universiteit, zijn stuk voor stuk klinkklare onzin.
Dat leden van de universiteitsraad er zo over denken, is niet heel verrassend. Dat dé ranglijstenexpert van de RUG, Jules van Rooij, dat vindt, wekt al wat meer verbazing. Maar dat ook collegevoorzitter Sibrand Poppema, Mister Ranking Incarnate, zich achter bovenstaande stelling schaart, is curieus te noemen.
Hoog scoren
Toch is het zo. ‘De enige reden waarom rankings belangrijk zijn’, benadrukt Poppema, ‘is omdat mensen ze belangrijk vínden.’ Sommige zijn iets beter dan andere, zegt hij. En het is nu ook weer niet zo dat ze niets te maken hebben met de werkelijkheid, maar is Peking University – 71e op de Shanghai-ranglijst – nu echt beter dan de RUG op plaats 72? En is de Amerikaanse Boston University zoveel slechter met zijn 75e plek? Niet dus.
Hoog scoren betekent dat je een stevige onderzoeksuniversiteit bent, dat je wetenschappers hebt die veel publiceren en ook nog eens vaak geciteerd worden. Maar dat is het dan wel zo ongeveer. ‘Geen enkele overall ranking is betekenisvol’, zegt Van Rooij. ‘Kijken naar deelgebieden is veel interessanter. Zelfs de Ivy League is niet op alle vlakken nummer één.’
Buitenlandse studenten
Maar ja, buitenlandse studenten kijken wél naar die ranglijsten. Vraag er maar eens naar in een internationaal studentenhuis als Winschoterdiep. De Roemeense Elisabetha Efrim koos Groningen uit een lijst van mogelijke universiteiten, omdat de RUG het hoogste scoorde. De Chinese Molly Qian zegt: ‘Ik koos meer op basis van de ranking, dan van de stad.’
Als de RUG met een stand op een onderwijsbeurs in Indonesië staat, is de eerste vraag die de medewerkers krijgen: ‘Staan jullie in de top 200? Top 100?’
Is het antwoord ‘nee’, dan schuiven ze meteen door naar de volgende en heb je als universiteit het nakijken. Maar een universiteit – zeker de RUG – heeft die internationals nodig. Poppema: ‘[2015 was] het eerste jaar dat de RUG minder Nederlandse studenten trok en in de komende jaren zet die ontwikkeling alleen maar door. We zijn een regionale universiteit in een krimpgebied. Het aantal Nederlandse jongeren neemt af en het aantal jongeren in de noordelijke provincies helemaal. We hebben internationale studenten nodig om stabiel te blijven. Zo simpel is het.’
Times Higher Education
De THE-WUR-ranglijst werd opgericht in 2010, nadat ze zich had afgesplitst van de QS-ranglijst. Deze lijst is het beste voor de reputatie. Vorig jaar bereikte de RUG een 74e plaats, een prima comeback na de 117e plek in het jaar ervoor. In september dit jaar moest de RUG wel weer wat van die winst inleveren: de universiteit zakte naar nummer 80.
Het is, bevestigt Van Rooij, een prisoner’s dilemma. De ranglijsten verdienen al die aandacht niet, maar niet meedoen is geen optie. ‘En als je verliest en zegt dat de methodologie niet klopt, wordt dat gezien als een zwaktebod. Hoe je het ook wendt of keert, die lijsten hebben een grote invloed op je reputatie. And they’re here to stay.’
De oudste en objectiefste
En dus is hij een groot deel van zijn tijd bezig met het doorgronden en analyseren van de werking van de lijstjes. Met de Shanghai-ranglijst bijvoorbeeld, de oudste, objectiefste en stabielste van de drie ‘groten’ en ook de enige die door een universiteit wordt gemaakt. ‘Ze verzamelen hun eigen gegevens en het is daardoor ook de enige ranking die je niet kunt beïnvloeden door het spel slim mee te spelen’, zegt Van Rooij.
US News & World Report
US News and World Report brengt al sinds 1983 een Amerikaanse ranglijst van universiteiten uit, maar de wereldwijde Best Global Universities Ranking is een nieuwe speler op de markt. Deze lijst verscheen voor het eerst in 2014: de RUG eindigde toen op plek 98, om een jaar later naar de 93e positie te klimmen. De resultaten van dit jaar worden in oktober bekendgemaakt.
Als er één lijst is waar Poppema waarde aan hecht, dan is het deze. Juist omdat de Shanghai-lijst zwaar leunt op onderzoekscitaties, vaak geciteerde auteurs en publicaties in Nature en Science. Dat komt de RUG prima uit, want op die gebieden gaat het goed. Ook telt het zwaar als je winnaars van een Nobelprijs of Fields-medaille (voor wiskunde) onder je alumni of staf hebt. Het mag dan honderd jaar geleden zijn dat Zernike aan de RUG werkte en zestig jaar sinds zijn Nobelprijs, hij telt nog steeds mee voor de Shanghai-ranglijst. ‘Al wordt dat elke tien jaar 10 procent minder’, rekent Van Rooij voor.
De stijging van de RUG in deze ranglijst is reëel, denkt Poppema. Het is een weerslag van een echte toename in citaties, goede publicaties en internationals. Maar de RUG loopt ook tegen zijn grenzen aan, want MIT, Harvard of Cambridge versla je niet zo een-twee-drie.
Yantai
Toch is er nog groei mogelijk, denkt de collegevoorzitter. Hij gelooft zelfs dat een top 50-plek haalbaar is. Mits de RUG óf een Nobelprijswinnaar aflevert – dat houdt hij niet voor onmogelijk – óf het aantal publicaties substantieel opschroeft. En dat kan door uitbreiding van de RUG naar Yantai. Want de RUG in Groningen zit aan zijn tax, zegt Poppema. ‘De mensen hier werken al zo hard. Het kan echt niet nóg meer.’
Hij voegt er snel aan toe dat de RUG niet naar Yantai gaat omwille van de lijstjes. De RUG wil uitbreiden om die noodzakelijke groei te realiseren. Eventuele stijging in de ranglijsten is een welkome bijkomstigheid.
QS World University Rankings
De ranglijst van Quacquarelli Symonds (QS) hanteert brede criteria en steekt niet onder stoelen of banken dat ze afhankelijk is van peilingen en dat de nadruk op reputatie ligt. QS maakte in 2010 een doorstart zonder THE. De RUG wist in 2015 nog net binnen de top honderd te eindigen, maar in 2016 zakte de universiteit naar nummer 113 op de QS-ranglijst.
Maar dan zijn er die twee andere internationale ranglijsten nog: die van Times Higher Education (THE) en Quacquarelli Symonds (QS). En daar moet Poppema eigenlijk niks van hebben.
Enquêtes
Zowel de THE- als de QS-lijst leunt zwaar op reputatie, terwijl de gegevens verzameld worden via enquêtes. ‘QS bevraagt willekeurige mensen’, zegt Van Rooij. ‘Gewoon iedereen met een universitair e-mailadres.’ In veel gevallen is het niet eens duidelijk of zo iemand een actief wetenschapper is. Van Rooij zelf krijgt de enquête bijvoorbeeld ook altijd. THE gebruikte in andere jaren de database van uitgever Thomson Reuters. Daardoor kreeg je in elk geval actieve peer-reviewers of publicerende wetenschappers. Maar het blijft zeer de vraag of een bioloog in Alaska iets kan zeggen over het onderwijsniveau aan een universiteit in Japan.
‘En zelfs als het gaat om hun eigen vakgebied, is het maar de vraag hoe betrouwbaar de informatie is’, zegt Van Rooij. ‘Ze vragen je dan om de dertig beste universiteiten op jouw vakgebied te noemen. De eerste vijf ken je nog wel uit je eigen netwerk. Maar dan? Goede kans dat je die top 50 er weer bij pakt of universiteiten aanvinkt waarvan je al eens hebt gehoord.’ En zo heeft een top 100-universiteit meer kans om in die top 100 te blijven. Puur op basis van naamsbekendheid.
Miljoenenbedrijven
Kwalijker dan de haperende methodiek is misschien nog wel de wereld achter beide rankers. QS en THE zijn namelijk beide miljoenenbedrijven die er vooral op gebrand zijn om geld te verdienen. QS kan erop rekenen dat zijn ranglijst zo’n 100 miljoen keer wordt aangeklikt door aankomende studenten, en universiteiten adverteren daarom volop op haar website.
Shanghai Ranking
Soms geldt: hoe simpeler, hoe beter. De ARWU/Shanghai-ranglijst werd opgericht in 2003 en richt zich enkel op de wetenschappelijke prestaties van universiteiten. Van alle grote ranglijsten wordt deze gezien als de duidelijkste en meest betrouwbare. In 2016 steeg de RUG naar de 72e plaats in deze ranglijst.
Daarnaast genereert QS inkomsten door universiteiten te ‘helpen’ met hun gegevens. Bijvoorbeeld door het analyseren en doorrekenen van data, of door een adviseur langs te sturen. ‘En daar moet je voor betalen’, zegt Poppema. Hoeveel? Hij weet het niet precies, want de RUG heeft er nooit gebruik van gemaakt. Maar het gaat wel om tienduizenden euro’s.
Ten slotte doen QS en THE er alles aan om zoveel mogelijk aandacht krijgen voor hun ranking. Inclusief het regelmatig wijzigen van de methodiek, waardoor er flinke verschuivingen optreden. Die leveren immers aandacht op in de media en dat trekt verkeer naar de site. Zo was de RUG in 2012 134e in de THE-lijst, een jaar later 89e en in 2014 weer 117e. ‘Ze geven dat ook gewoon toe’, zegt Poppema, die enkele jaren zitting had in de adviesgroep voor THE. ‘Dat ze geen interesse hebben in stabiliteit. Ze willen niet dat de universiteiten er beleid op gaan voeren.’
Instabiliteit
Phil Baty van THE verklaart de vele wijzigingen anders: ‘THE brengt methodologische verbeteringen aan waar we kunnen. Dat leidt soms tot enige instabiliteit, maar zo lang we transparant zijn, is het in ieders belang om een zo gebalanceerd mogelijk beeld te krijgen.’
Feit blijft dat de Shanghai-ranglijst die veranderingen in de twaalf jaar van zijn bestaan niet nodig had en dat deze ranking ook onder studenten als de meest betrouwbare wordt gezien.
Misschien dat dat ook de reden is dat Poppema niet gespannen in zijn bed ligt te woelen over de vraag of de RUG gaat stijgen of dalen in de Times-lijst die volgende week verschijnt. En dat een ronkend persbericht zal uitblijven, zelfs als de RUG de top 100 weer binnenkomt.
De RUG in de ranglijsten
Hieronder vind je een toelichting op de vier grootste rankings, gevolgd door een overzicht van andere, minder toonaangevende ranglijsten. De positie die de RUG in deze lijsten inneemt, wordt tussen haakjes vermeld.
Shanghai-ranglijst (72)
Bij de Academic Ranking of World Universities – beter bekend als de Shanghai-ranglijst – draait het allemaal om wetenschap. Wanneer een alumnus of medewerker van een universiteit een Nobelprijs of Fields-medaille wint, is dat reden voor een feestje. De Shanghai-ranglijst baseert 10 procent van zijn methodologie op dit gegeven – mits de prijs in de afgelopen honderd jaar werd gewonnen. Ze kijken ook naar het aantal citaties in Web of Science van de afgelopen vijf jaar. Nadeel is dat de Shanghai-ranglijst niet de kwaliteit van onderwijs meet en weinig aandacht besteedt aan de geesteswetenschappen.
Van de drie grootste ranglijsten geniet de Shanghai-ranglijst het meeste respect van zowel experts als studenten. Het is ook de oudste van de drie, maar dat wil niet veel zeggen: ze werd pas in 2003 voor het eerst opgesteld.
De Shanghai-ranglijst ontstond met behulp van de Chinese regering en werd ontworpen als ‘een mondiale maatstaf waar Chinese universiteiten – die profijt hadden van de miljarden die werden geïnvesteerd door de staat en particulieren – hun voortgang aan konden toetsen’.
De Shanghai-ranglijst ontvangt een deel van haar gegevens direct van Thomson Reuters en een ander deel van CWTS Leiden. Leiden meet de impact van wetenschappelijke publicaties van 500 universiteiten wereldwijd. Op die Leidse lijst staat de RUG op plek 87.
Times Higher Education (80)
Tegenwoordig baseert Times Higher Education (THE) zijn scores op een groot aantal kleine factoren, van onderzoeksreputatie tot het aantal internationals aan een universiteit. Sommige aspecten maken slechts 2,25 procent van het geheel uit. Vorig jaar stapte THE over van de Thomson Reuters-database naar Scopus. THE peilt ook academici op andere opleidingen om de ‘onderwijs- en onderzoekskwaliteit’ te evalueren.
U.S. News ‘Best Global Universities’ (93 in 2015)
In 2014 realiseerde het Amerikaanse tijdschrift US News zich dat er ook buiten de Verenigde Staten nog een hele wereld bestond en publiceerde haar eerste ‘Best Global Universities Rankings’. De uitgever legt zeer zorgvuldig uit hoe de methodologie werkt. De ranglijst van US News is gebaseerd op de informatie van Thomson Reuters.
Quacquarelli Symonds (113)
Quacquarelli Symonds (QS) let veel meer op de aanwezigheid van buitenlandse studenten dan de meeste andere ranglijsten, en daarmee onderscheidt ze zich van haar voormalige partner, THE. QS houdt ook erg van enquêtes; meer dan de helft van haar gegevens wordt ontleend aan vragenlijstjes. QS hanteert de student-faculteitratio als graadmeter voor onderwijskwaliteit. Ook QS is in 2010 overgestapt van Thomson Reuters naar Scopus.
Het toetsen van een reputatie op basis van enquêtes is echter geen exacte wetenschap. Het lijkt erop dat QS (en THE) hun methodologie elk jaar weer een beetje aanpassen, waardoor de positie van een opleiding van jaar tot jaar aanzienlijk kan verschillen.
Overige lijsten:
Centre for World University Rankings (105)
National Taiwan University Ranking (71 in 2015)
Global Employability Survey (114 in 2015)
Webometrics (118)
UI GreenMetric World University Ranking (12)