De lijst der lijsten

Leestijd: 10 min. (1550 woorden)

Het is bizar. Die rankings die telkens weer opduiken in kranten, beleidsvergaderingen of berichten op de RUG-website, de ranglijsten waarmee de RUG zich trots afficheert als een ‘top 100’ universiteit, zijn stuk voor stuk klinkklare onzin.

Dat leden van de universiteitsraad er zo over denken, is niet heel verrassend. Dat dé ranglijstenexpert van de RUG, Jules van Rooij, dat vindt, wekt al wat meer verbazing. Maar dat ook collegevoorzitter Sibrand Poppema, Mister Ranking Incarnate, zich achter bovenstaande stelling schaart, is curieus te noemen.

Hoog scoren

Toch is het zo. ‘De enige reden waarom rankings belangrijk zijn’, benadrukt Poppema, ‘is omdat mensen ze belangrijk vínden.’ Sommige zijn iets beter dan andere, zegt hij. En het is nu ook weer niet zo dat ze niets te maken hebben met de werkelijkheid, maar is Boston University – 73e in de Shanghai-ranglijst – nu echt beter dan de RUG op plaats 75? En is de Japanse Universiteit van Nagoya zoveel slechter met zijn 77e plek? Niet dus.

Hoog scoren betekent dat je een stevige onderzoeksuniversiteit bent, dat je wetenschappers hebt die veel publiceren en ook nog eens vaak geciteerd worden. Maar dat is het dan wel zo ongeveer. ‘Geen enkele overall ranking is betekenisvol’, zegt Van Rooij. ‘Kijken naar deelgebieden is veel interessanter. Zelfs de Ivy League is niet op alle vlakken nummer één.’

Internationale studenten

Maar ja, internationale studenten kijken wél naar die ranglijsten. Vraag er maar eens naar in een internationaal studentenhuis als Winschoterdiep. De Roemeense Elisabetha Efrim koos Groningen uit een lijst van mogelijke universiteiten, omdat de RUG het hoogste scoorde. De Chinese Molly Qian zegt: ‘Ik koos meer op basis van de ranking, dan van de stad.’

Als de RUG met een stand op een onderwijsbeurs in Indonesië staat, is de eerste vraag die de medewerkers krijgen: ‘Staan jullie in de top 200? Top 100?’

Is het antwoord ‘nee’, dan schuiven ze meteen door naar de volgende en heb je als universiteit het nakijken. Maar een universiteit – zeker de RUG – heeft die internationals nodig. Poppema: ‘Dit jaar is het eerste jaar dat de RUG minder Nederlandse studenten heeft getrokken en in de komende jaren zet die ontwikkeling alleen maar door. We zijn een regionale universiteit in een krimpgebied. Het aantal Nederlandse jongeren neemt af en het aantal jongeren in de noordelijke provincies helemaal. We hebben internationale studenten nodig om stabiel te blijven. Zo simpel is het.’

Het is, bevestigt Van Rooij, een prisoner’s dilemma. De ranglijsten verdienen al die aandacht niet, maar niet meedoen is geen optie. ‘En als je verliest en zegt dat de methodologie niet klopt, wordt dat gezien als een zwaktebod. Hoe je het ook wendt of keert, die lijsten hebben een grote invloed op je reputatie. And they’re here to stay.’

De oudste en objectiefste

En dus is hij een groot deel van zijn tijd bezig met het doorgronden en analyseren van de werking van de lijstjes. Met de Shanghai-ranglijst bijvoorbeeld, de oudste, objectiefste en meest stabiele van de drie ‘groten’ en ook de enige die door een universiteit wordt gemaakt. ‘Ze verzamelen hun eigen gegevens en het is daardoor ook de enige ranking die je niet kunt beïnvloeden door het spel slim mee te spelen’, zegt Van Rooij.

Als er één lijst is waar Poppema waarde aan hecht, dan is het deze. Juist omdat de Shanghai-lijst zwaar leunt op onderzoekscitaties, vaak geciteerde auteurs, en publicaties in Nature en Science. Dat komt de RUG prima uit, want op die gebieden gaat het goed. Ook telt het zwaar als je winnaars van een Nobelprijs of Fields-medaille (voor wiskunde) onder je alumni of staf hebt. Het mag dan honderd jaar geleden zijn dat Zernike aan de RUG werkte en zestig jaar sinds zijn Nobelprijs, hij telt nog steeds mee voor de Shanghai-ranglijst. ‘Al wordt dat elke tien jaar 10 procent minder’, rekent Van Rooij voor.

De stijging van de RUG in deze ranglijst is reëel, denkt Poppema. Het is een weerslag van een echte toename in citaties, goede publicaties en internationals. Maar de RUG loopt ook tegen zijn grenzen aan, want MIT, Harvard of Cambridge versla je niet zo een-twee-drie.

Yantai

Toch is er nog groei mogelijk, denkt de collegevoorzitter. Hij gelooft zelfs dat een top-50 plek haalbaar is. Mits de RUG óf een Nobelprijswinnaar aflevert – dat houdt hij niet voor onmogelijk – óf het aantal publicaties substantieel opschroeft. En dat kan door uitbreiding van de RUG naar Yantai. Want de RUG in Groningen zit aan zijn tax, zegt Poppema. ‘De mensen hier werken al zo hard. Het kan echt niet nóg meer.’

Hij voegt er snel aan toe dat de RUG niet naar Yantai gaat omwille van de lijstjes. De RUG wil uitbreiden om die noodzakelijke groei te realiseren. Eventuele stijging in de ranglijsten is een welkome bijkomstigheid.

Maar dan zijn er die twee andere internationale ranglijsten nog: die van Times Higher Education (THE) en Quacquarelli Symonds (QS). En daar moet Poppema eigenlijk niks van hebben.

Enquêtes

Zowel de THE- als de QS-lijst leunt zwaar op reputatie, terwijl de gegevens verzameld worden via enquêtes. ‘QS bevraagt willekeurige mensen’, zegt Van Rooij. ‘Gewoon iedereen met een universitair e-mailadres.’ In veel gevallen is het niet eens duidelijk of zo iemand een actief wetenschapper is. Van Rooij zelf krijgt de enquête bijvoorbeeld ook altijd. THE gebruikte in andere jaren de database van uitgever Thomson Reuters. Daardoor kreeg je in elk geval actieve peer reviewers of publicerende wetenschappers. Maar het blijft zeer de vraag of een bioloog in Alaska iets kan zeggen over het onderwijsniveau aan een universiteit in Japan.

‘En zelfs als het gaat om hun eigen vakgebied, is het maar de vraag hoe betrouwbaar de informatie is’, zegt Van Rooij. ‘Ze vragen je dan om de dertig beste universiteiten op jouw vakgebied te noemen. De eerste vijf ken je nog wel uit je eigen netwerk. Maar dan? Goede kans dat je die top 50 er weer bij pakt of universiteiten aanvinkt waarvan je al eens hebt gehoord.’ En zo heeft een top-100 universiteit meer kans om in die top 100 te blijven. Puur op basis van naamsbekendheid.

Miljoenenbedrijven

Kwalijker dan de haperende methodiek is misschien nog wel de wereld achter beide rankers. QS en THE zijn namelijk beide miljoenenbedrijven die er vooral op gebrand zijn om geld te verdienen. QS kan erop rekenen dat zijn ranglijst zo’n 100 miljoen keer wordt aangeklikt door aankomende studenten, en universiteiten adverteren daarom volop op haar website.

Daarnaast genereert QS inkomsten door universiteiten te ‘helpen’ met hun gegevens. Bijvoorbeeld door het analyseren en doorrekenen van data, of door een adviseur langs te sturen. ‘En daar moet je voor betalen’, zegt Poppema. Hoeveel? Hij weet het niet precies, want de RUG heeft er nooit gebruik van gemaakt. Maar het gaat wel om tienduizenden euro’s.

Ten slotte doen QS en THE er alles aan om zoveel mogelijk aandacht krijgen voor hun ranking. Inclusief het regelmatig wijzigen van de methodiek, waardoor er flinke verschuivingen optreden. Die leveren immers aandacht op in de media en dat trekt verkeer naar de site. Zo was de RUG in 2012 134e in de THE-lijst, een jaar later 89e en in 2015 weer 117e. ‘Ze geven dat ook gewoon toe’, zegt Poppema, die enkele jaren zitting had in de adviesgroep voor THE. ‘Dat ze geen interesse hebben in stabiliteit. Ze willen niet dat de universiteiten er beleid op gaan voeren.’

Instabiliteit

Phil Baty van THE verklaart de vele wijzigingen anders: ‘THE brengt methodologische verbeteringen aan waar we kunnen. Dat leidt soms tot enige instabiliteit, maar zo lang we transparant zijn, is het in ieders belang om een zo gebalanceerd mogelijk beeld te krijgen.’

Feit blijft dat de Shanghai-ranglijst die veranderingen in de twaalf jaar van zijn bestaan niet nodig had en dat deze ranking ook onder studenten als de meest betrouwbare wordt gezien.

Misschien dat dat ook de reden is dat Poppema niet gespannen in zijn bed ligt te woelen over de vraag of de RUG gaat stijgen of dalen in de Times-lijst die volgende week verschijnt. En dat een ronkend persbericht zal uitblijven, zelfs als de RUG de top 100 weer binnenkomt.

Shanghai-ranglijst (75)

Bij de Academic Ranking of World Universities – beter bekend als de Shanghai-ranglijst – draait het allemaal om wetenschap. Wanneer een alumnus of medewerker van een universiteit een Nobelprijs of Fieldsmedaille wint, is dat reden voor een feestje. De Shanghai-ranglijst baseert 10 procent van zijn methodologie op dit gegeven – mits de prijs in de afgelopen honderd jaar werd gewonnen. Ze kijken ook naar het aantal citaties in Web of Science van de afgelopen vijf jaar. Nadeel is dat de Shanghai-ranglijst niet de kwaliteit van onderwijs meet en weinig aandacht besteedt aan de geesteswetenschappen.

Van de drie grootste ranglijsten geniet de Shanghai-ranglijst het meeste respect van zowel experts als studenten. Het is ook de oudste van de drie, maar dat wil niet veel zeggen: ze werd pas in 2003 voor het eerst opgesteld.

De Shanghai-ranglijst ontstond met behulp van de Chinese regering en werd ontworpen als ‘een mondiale maatstaf waar Chinese universiteiten – die profijt hadden van de miljarden die werden geïnvesteerd door de staat en particulieren – hun voortgang aan konden toetsen’.

De Shanghai-ranglijst ontvangt een deel van haar gegevens direct van Thomson Reuters en een ander deel van CWTS Leiden. Leiden meet de impact van wetenschappelijke publicaties van 500 universiteiten wereldwijd. Op die Leidse lijst staat de RUG op plek 120.

Times Higher Education (117 in 2014)

Tegenwoordig baseert de Times Higher Education (THE) zijn scores op een groot aantal kleine factoren, van onderzoeksreputatie tot het aantal internationale studenten en medewerkers op een universiteit. Sommige aspecten maken zelfs maar 0,75 procent van de totaalscore uit (openbare onderzoeksinkomsten — een onderdeel van de onderzoekscriteria — om maar een voorbeeld te noemen). Maar dit jaar stapt THE over van de Thomson Reuters-database naar Scopus. THE peilt ook academici op andere opleidingen om de ‘onderwijs- en onderzoekskwaliteit’ te evalueren.

U.S. News ‘Best Global Universities’ (98 in 2014)

In 2014 realiseerde het Amerikaanse tijdschrift US News zich dat er ook buiten de Verenigde Staten nog een hele wereld bestond en publiceerde haar eerste ‘Best Global Universities Rankings’. De uitgever legt zeer zorgvuldig uit hoe de methodologie werkt. De ranglijst van US News is gebaseerd op de informatie van Thomson Reuters.

Quacquarelli Symonds (100)

Quacquarelli Symonds (QS) let veel meer op de aanwezigheid van internationale studenten dan de meeste andere ranglijsten, en daarmee onderscheidt ze zich van haar voormalige partner, THE. QS houdt ook erg van enquêtes; meer dan de helft van haar gegevens wordt ontleend aan vragenlijstjes. QS hanteert de student-faculteitratio als graadmeter voor onderwijskwaliteit. Ook QS is in 2010 overgestapt van Thomson Reuters naar Scopus.

Het toetsen van een reputatie op basis van enquêtes is echter geen exacte wetenschap. Het lijkt erop dat QS (en THE) hun methodologie elk jaar weer een beetje aanpassen, waardoor de positie van een opleiding van jaar tot jaar aanzienlijk kan verschillen.

Overige lijsten:

Centre for World University Rankings (110)

National Taiwan University Ranking (81)

Global Employability Survey (86)

Essential Science Indicators (ESI) Citation Impact (54)

Webometrics (107)

UI GreenMetric World University Ranking (49)