Peilingen zijn geen adequate weergave van de werkelijkheid, zo bleek afgelopen maanden maar weer met de onverwachte overwinning van Donald Trump en de Brexiteers. Het doel van vragenlijstonderzoek, waaronder publieke opiniepeilingen vallen, is het zo nauwkeurig mogelijk weergeven van de werkelijkheid.
Hoewel het trekken van een willekeurige steekproef om de populatie zo nauwkeurig mogelijk te representeren cruciaal is (en de meeste kritiek op publieke opiniepeilingen daarop gericht lijkt te zijn), is het meetinstrument minstens zo belangrijk.
Enkel met een betrouwbaar en accuraat meetinstrument kan een onderzoeker een gegronde uitspraak doen over de werkelijkheid. Bij het ontwerpen van een vragenlijst kunnen veel fouten worden gemaakt. Hieronder evalueren wij, ter illustratie van veelgemaakte vergissingen, de vragenlijst die de Universiteitskrant onlangs gebruikte voor de Grote Zwarte Piet Enquête.
Bot taalgebruik
Respondenten zo ver krijgen een vragenlijst in te vullen, is al lastig genoeg. Misacht hen daarom niet door onrespectvol en bot taalgebruik te beoefenen. Niet alleen tijdens het begroeten van een respondent, maar ook bij de vraagformuleringen is vriendelijk en respectvol taalgebruik van belang.
Het gebruik van bijvoorbeeld een woord om de respondent een complexere vraag te stellen, is voor een respondent een indicatie dat je hem niet serieus neemt. In het geval van de vraagformuleringen hieronder zou men vraag 2 kunnen herformuleren tot: Bij welke faculteit ben je student of medewerker?
Bent u voor of tegen de Zwarte Pieten? Welk type Zwarte Piet wordt bedoeld? En hoezo ‘de’ zwarte Zwarte Pieten? Subtiele verschillen in vraagformuleringen kunnen grote gevolgen hebben voor de verkregen resultaten. Een vooronderzoek om te bepalen wat respondenten precies verstaan onder een bepaald begrip is daarom onontbeerlijk.
In de Nederlandse versie ontbreekt het volledig aan enige aanwijzers die het voor een respondent duidelijk zouden moeten maken welke versie van Zwarte Piet wordt bedoeld. De gebruikte formulering in het Engels lijkt iets duidelijker. Dit omdat er wordt gesproken over traditional depiction, maar ook daar kan ‘traditioneel’ nog op allerlei verschillende manieren worden opgevat, omdat tradities wel vaker aan verandering onderhevig zijn.
Te lang
Bij vraag 6 wordt een te lange vraagformulering gebruikt, maar is ook de vertaling naar het Engels niet goed. Door de complexiteit van de vraagformulering is het waarschijnlijk dat respondenten vaker satisficen. Satisficing is een beantwoordingsstrategie die een respondent volgt als hij met zo min mogelijk moeite de vragenlijst wil voltooien.
Door complexe vraagformuleringen kost het lezen en interpreteren van de vraag extra moeite waardoor personen die met minimale intrinsieke motivatie de vragenlijst invullen, worden ontmoedigd om een optimaal antwoord te geven.
Als een vragenlijst persoonlijk wordt afgenomen, ontstaat de mogelijkheid op sociaal wenselijk gedrag. Een interviewer heeft dan zicht heeft op de gegeven antwoorden. Als de beantwoording van vragen niet anoniem geschiedt, kiezen respondenten vaak de optie waarvan zij denken dat dit het sociaal wenselijke antwoord is.
In het geval van de Grote Zware Piet Enquête zou vóór aanpassing van Zwarte Piet bijvoorbeeld als sociaal wenselijk kunnen worden gezien. Wanneer een interviewer aanwezig was bij het afnemen van deze vragenlijst, dan is het waarschijnlijk dat zijn aanwezigheid invloed heeft gehad op de verkregen resultaten.
Vergissingen
Naast de bovenstaande, vaak voorkomende, vergissingen zijn er tal van andere vergissingen die onderzoekers kunnen maken bij het ontwerpen van een vragenlijst. Neem daarom altijd contact op met een expert bij het ontwerpen van een vragenlijst. Een expert zou bijvoorbeeld kunnen wijzen op het uitvoeren van een vooronderzoek (pre-test) voor de vragenlijst wordt ingezet.
Tijdens een pre-test kan gebruik worden gemaakt van verschillende methoden om te bepalen of de vraagformuleringen correct zijn, de conceptualisatie van gebruikte begrippen interpreteerbaar is voor respondenten, de antwoordalternatieven aansluiten bij de vraagstelling. Hoeveel moeite en expertise een ontwerper van een vragenlijst er ook in steekt, uiteindelijk kunnen alleen respondenten beoordelen of een vragenlijst voor hen goed werkt.
Yfke Ongena (y.p.ongena@rug.nl), universitair docent (Survey Research Methodology)
Teunis Dokter (t.dokter@rug.nl), voormalig voorzitter Lijst Sterk in de universiteitsraad