Lucy Avraamidou vecht tegen AI-bias
‘We stevenen mogelijk af op een tech-dystopie’
Eerst voelde ze zich ‘uitgewist’ uit haar eigen sociale gemeenschap, zegt Lucy Avraamidou. En wat daar nog bij kwam: ‘Het was gedaan door een machine.’
Daarna kwam de woede. ‘Omdat er mensen zitten achter die machine. Witte mannen uit de hogere klasse maken deze algoritmes doorgaans. Dus ja, dat maakte me kwaad.’
Avraamidou is hoogleraar vakdidactiek natuurwetenschappen. Ze houdt zich bezig met onderwerpen als diversiteit, de vertegenwoordiging van vrouwen in de wetenschap en de kwesties rondom intersectionaliteit: als je deel uitmaakt van meerdere minderheden tegelijk. Maar recent kwam daar nog iets bij: ze onderzoekt op welke manieren kunstmatige intelligentie (ook wel AI, artificial intelligence) bestaande vooroordelen versterkt en wat je daar aan kunt doen. Deze lente kreeg ze een beurs van 330.000 euro toegekend voor haar aandeel in het internationale project MAMMOth, over bias in AI.
Het is een van de grote uitdagingen van onze tijd, zegt ze. ‘In veel opzichten kan AI onze levens makkelijker maken. Maar het is ook heel goed mogelijk dat we op een tech-dystopie afstevenen en dat alles in elkaar klapt.’
Zij wil er graag voor zorgen dat dit niet gebeurt.
Minderheden
Even terug naar dat moment dat ze zich ‘uitgewist’ voelde. Dat was tijdens de openingstentoonstelling in het Groninger Forum over kunstmatige intelligentie en haar invloed op ons alledaagse leven. ‘We liepen langs een camera met gezichtsherkenning die mij scande. Maar het apparaat herkende me niet.’
Eerst classificeerde de software haar als man. Daarna kwam die met een dna-analyse en werd haar verteld dat ze een hoog percentage Afrikaans dna had.
Witte mannen uit de hogere klasse maken deze algoritmes doorgaans
Avraamidou, die oorspronkelijk uit Cyprus komt, was in de zomer thuis geweest. Toen ze terugkwam was ze zongebruind en ze had haar haren achterover getrokken, waardoor ze een beetje een ‘Afrikaanse’ look had. ‘Mijn grote neus hielp waarschijnlijk ook niet mee’, grapt ze. Het probleem was alleen dat haar blonde vriendinnen met een lichte huid de camera voorbij liepen zonder dat de software haperde. Maar zij paste er duidelijk niet tussen.
Dat is iets waar minderheden dagelijks mee te stellen hebben. Gezichtsherkenning werkt vaak niet goed bij vrouwen van kleur; zij worden als man beoordeeld. De software maakt ook over de hele linie vaker fouten met zwarte gezichten. Dus als de politie er gebruik van maakt – en dat doen ze – dan is de kans groter dat mensen van kleur staande gehouden worden, of dat ze ten onrechte beschuldigd worden van een misdaad.
Als je een vrouw van kleur bent, loop je dubbel zoveel risico. En als je daar nog een kenmerk aan toevoegt dat doorgaans niet in je voordeel werkt – je bent gehandicapt, bijvoorbeeld, of onderdeel van de LHBTI-gemeenschap – dan wordt dat drie of vier keer zoveel. Veel minderheden maken dit soort dingen zo vaak mee, dat ze zich niet eens meer realiseren waar het vandaan komt, zegt Avraamidou. ‘Omdat dat gewoon is zoals het is.’
Ongelijk
Het is niet alsof racisme en vooroordelen nieuw zijn, maar AI maakt al bestaande problemen nog erger. Algoritmes hebben tenslotte data nodig om te kunnen werken. En de data die we ze voeren komen uit de echte wereld. ‘Dus reproduceert AI de wereld zoals hij is, en niet zoals hij zou moeten zijn: diverser en gelijker. Want ik durf wel te stellen dat de wereld nu ongelijk is. We zien ongelijkheden in heel veel aspecten van het leven.’
Voorbeelden te over tegenwoordig. Neem Amazon, dat in het geheim algoritmes toepaste in haar sollicitatieprocedures. Het resultaat: vrouwen werden gediscrimineerd en vrouwen van kleur nog veel meer. ‘De input die Amazon gaf was gebaseerd op tien jaar van haar eigen aannamebeleid.’ En degenen die aangenomen waren, waren – uiteraard – vooral witte mannen, dus dacht het algoritme dat wit en man zijn de sleutel tot succes was.
AI reproduceert de wereld zoals hij is, en niet zoals hij zou moeten zijn
In Nederland heb je het toeslagenschandaal: hier werden burgers met een niet-Nederlandse achtergrond als mogelijke fraudeurs aangemerkt. Duizenden mensen werden vals beschuldigd en worstelen nu nog met de verwoestende gevolgen.
Een ander voorbeeld uit Nederland waar Avraamidou onlangs op stuitte: in coronatijd beoordeelde een camera-algoritme of mensen in publieke ruimtes wel afstand hielden. ‘Maar er is bewijs dat het model van de grootste gemene deler niet goed werkt voor alle huidskleuren, leeftijden en maten. Dus was het gunstiger voor dunne dan voor dikkere mensen, of voor mensen met bepaalde kledingstijlen.’ Zeg maar: de Nederlander uit de midden- en hogere klasse.
Kritisch
Veel mensen geloven nog altijd dat computers en algoritmes een eenduidige en onbevooroordeelde waarheid opleveren, zegt Avraamidou. ‘Maar dat is onmiskenbaar niet zo. We moeten dat duidelijk maken aan mensen, zodat ze kritischer tegenover het gebruik van AI staan.’
Dat is dus wat ze de komende drie jaar gaat doen. Haar nieuwe project gaat zich richten op drie gebieden waarin AI bestaande ongelijkheden bevestigt. Om te beginnen de financiële sector, waar ze vaak algoritmes gebruiken om te bepalen of je een hypotheek krijgt. Asielzoekers en andere migranten zijn dan in het nadeel, omdat zij niet de benodigde achtergrond hebben in hun land van herkomst. Dan is er de immigratiesector. En tot slot kijkt ze naar de academische wereld.
Onderzoekers zijn steeds kritischer geworden over AI
Tot nu toe, zegt ze, hebben we ons – met beperkt succes – gericht op vrouwelijke wetenschappers en het aanpassen van sollicitatieprocedures om hen gelijke kansen te geven. Maar het probleem gaat veel dieper. ‘Als ik een expert op een bepaald gebied nodig heb en ik zoek die via Google, kom ik waarschijnlijk een witte man tegen. Dan citeer ik die, in plaats van dat ik zoek naar mensen uit groepen die minder aan bod komen.’
Daarmee heeft Google een discriminerend effect, legt Avraamidou uit, omdat het aantal citaties van die persoon zal blijven toenemen, omdat deze witte man het eerste zoekresultaat is. ‘Hij is dan degene die uitnodigingen krijgt voor samenwerkingen, of gevraagd wordt om op een congres te spreken. Dat bevordert ongelijkheid en het begint bij de input, die is niet goed.’
Van onderaf
Zo’n probleem los je niet zomaar even op. Mensen moeten ervan af weten, zich ervan bewust zijn en bereid zijn om zaken te veranderen – bijvoorbeeld door de database waar je mee begint aan te passen. Wat als Amazon een algoritme had gebruikt dat gericht was op de mensen die het bedrijf zocht, in plaats van de mensen die ze al hadden?
En dus kiest Avraamidou voor een intersectionele aanpak van onderaf. De komende drie jaar gaat ze proberen om de boodschap over te brengen bij toekomstige developers – door de kwestie al tijdens de opleiding onder de aandacht te brengen – en regeringspartijen. Maar ook bij bedrijven en de politie – daar waar ze AI gebruiken zonder te beseffen hoe bevooroordeeld de techniek kan zijn – en ze probeert jonge kinderen te bereiken via scholen en tentoonstellingen.
Ze moet wel, zegt ze, want als we niets doen kan het helemaal verkeerd gaan. Tegelijkertijd is ze ook optimistisch. ‘Ik zie dat het verzet toeneemt en dat onderzoekers steeds kritischer worden over AI.’
Avraamidou weet dat ze niet alleen staat. ‘We zijn grote campagnes door heel Europa aan het plannen, waarbij we ons op 10.000 organisaties richten. Dus we hebben het over grote aantallen.’
En misschien nog wel belangrijker: ze gelooft dat de meeste mensen het juiste willen doen. ‘Ik ga er vanuit dat er een bereidheid is om deze problemen aan te pakken. Want daar hebben we allemaal iets aan.’