Verander de evaluaties

Student X komt nooit naar college A, maar verschuilt zich achter zijn anonimiteit om op het evaluatieformulier te klagen. Student Y is tevreden, maar heeft geen tijd om het formulier in te vullen. Dus wat is nou de waarheid? In de huidige vorm voegen evaluaties helemaal niets toe aan de kwaliteit van het onderwijs, stellen vier medewerkers van de RUG elk op hun manier.

Evaluaties worden overschat

Kristina Linke: Ik ben sinds 2012 universitair hoofddocent bij FEB en ik heb een aantal evaluaties van studenten gehad. Blijkbaar zijn deze evaluaties op dit moment de enige manier om het onderwijs van docenten te beoordelen. Maar of dat de boel echt goed meet?

Op mijn faculteit vulden maar heel weinig studenten de laatste evaluatie in: sowieso lag de aanwezigheid bij de colleges eigenlijk te laag en slechts twintig tot vijftig procent van de studenten vulden de evaluatie in. Het is gewoon overduidelijk dat deze evaluaties niet representatief zijn.

Bovendien: Zijn studenten eigenlijk wel in staat om onderwijskwaliteit te beoordelen? Voor hetzelfde geld gebruiken ze de evaluatie om wraak te nemen op een strenge docent, of belonen ze een onderhoudende docent.

Straks lesgeven, brrr…

Sreejita Ghosh: Ik begon vorig jaar als promovendus en deed een mastercollege. De coördinatoren van het college vroegen ons om gewoon feedback te geven wanneer we dat nuttig vonden, omdat het college voor het eerst gegeven werd.

We maakten de opdrachten in groepjes van vier. In mijn groepje klaagde de meest luie student die dus heel weinig deed juist het hardst over het college. In ieder groepje zat er wel één: iemand die zich niet aan de afspraken hield, het cijfer naar beneden haalde en vervolgens de docenten en onderwijsassistenten overal de schuld van gaf.

Als het college echt slecht was, hadden deze zeikerds direct naar de coördinatoren moeten stappen. Maar in plaats daarvan verscholen ze zich achter hun anonimiteit en maakten gemene opmerkingen op het formulier. Nu ik heb gezien hoe gemeen sommige studenten zijn tegen hoogleraren en onderwijsassistenten die gewoon hun best deden, die openstonden voor suggesties en ons hielpen, vind ik het echt verschrikkelijk dat ik straks moet lesgeven.

Anonimiteit is geen mening

Nicolai Petkov: Ik werk al 26 jaar als hoogleraar bij de RUG en ben lid van de opleidingscommissie. Ik heb een hoop gemene opmerkingen gelezen over de colleges van collega’s die verder een goede reputatie hadden. Jonge docenten raken vaak gefrustreerd van die bizarre en respectloze opmerkingen en ervaren collega’s worden er cynisch van.

Ongeveer vijftien jaar geleden vertelde mijn studerende dochter over een college dat zij volgde. Zij vond het een fantastisch college en vertelde mij over de opmerkingen van haar medestudenten: ‘Waarom moeten we zoveel wiskunde leren? Studeren moet wel een beetje leuk blijven. We betalen toch collegegeld?’ En dan heb ik het nog niet eens over hoe een veeleisende docent persoonlijk werd aangevallen.

Zij raakte als student (en lid van de universiteitsraad) volledige gedesillusioneerd over de rol en het nut van deze evaluaties. Het feit dat deze evaluaties anoniem zijn strookt ook niet met de doelstelling van de universiteit om jonge mensen aan te leren achter hun mening te staan.

Docenten zitten klem

Lorenzo Squintani: Ik werk sinds 2013 als universitair hoofddocent bij de faculteit Rechten en heb aan meerdere evaluaties meegedaan. Na de evaluatie volgt altijd een vergadering met het bestuur, een aantal studenten en de docenten. Deze vergaderingen zijn vaak verontrustend: het bestuur concentreert zich voornamelijk op de ‘verbeterpunten’ die aangegeven worden op het formulier.

Het bestuur wil vervolgens dat de docenten concessies doen en meer oefententamens geven, de antwoorden makkelijker maken, of zelfs hun leerdoelen naar beneden aanpassen. En omdat de colleges allemaal apart worden beoordeeld, kunnen de docenten van aan elkaar verwante colleges ook niet met elkaar overleggen.

Dit soort vergaderingen zijn eigenlijk alleen maar bedoeld om het bestuur de mogelijkheid te geven de docenten te confronteren met de negatieve en anonieme opmerkingen uit de evaluaties. Docenten worden gewoon klemgezet tussen studenten en het bestuur.

Het wordt echt tijd om het nut van evaluaties door studenten te heroverwegen. We moeten een nieuwe, opbouwende en toepasselijke manier vinden waarop studenten feedback kunnen geven en de onderwijskwaliteit kunnen beoordelen.

Kristina Linke (FEB), Sreejita Ghosh (FSE), Nicolai Petkov (FSE), en Lorenzo Squintani (FR)

English

7 REACTIES

  1. Heroverwegen van het nut van de evaluaties begint met het stellen van de vraag waar die evaluaties eigenlijk voor dienen. Worden ze uitgevoerd om visitatiecommissies tevreden te stellen? Om studenten de gelegenheid te geven om van zich te laten horen? Of om docenten de gelegenheid te geven hun onderwijs te optimaliseren? Op basis van het doel zou vervolgens de methode gekozen moeten worden – niet ieder doel is met iedere methode even goed gediend.

    Zelf kan ik uit de evaluaties zelden een concreet verbeterpunt halen; voorzover dat wel lukt, is dat meestal op basis van de opmerkingen die studenten maken in de open vragen op het formulier. De ironie wil dat juist die antwoorden tegenwoordig niet meer systematisch verwerkt worden.

  2. I recently reviewed research on the validity of student evaluations in an article published in Perspectives on Psychological Science. Based on this review, I arrived at the following conclusions:
    “This article addresses the paradox that university Grade Point Averages have increased for decades, whereas the time students invest in their studies has decreased. I argue that one major contributor to this paradox is grading leniency, encouraged by the practice of university administrators to base important personnel decision on student evaluations of teaching. This creates strong incentives for instructors to teach in ways that would result in good student evaluations. Since many instructors believe that the average student prefers
    courses that are entertaining, require little work and result in high grades, they feel under pressure to conform to those expectations. Evidence is presented that the positive association between student grades and their evaluation of teaching reflects a bias rather than teaching effectiveness. If
    good teaching evaluations reflected improved student learning due to effective teaching, they should be positively related to the grades received in subsequent courses that build on knowledge gained in the previous course. Findings that teaching evaluations of concurrent courses, though positively correlated with concurrent grades, are negatively related to student performance in subsequent courses are more consistent with
    the assumption that concurrent evaluations are the result of lenient grading rather than effective teaching.”
    Since practically all research on student evaluations has been conducted in the US, I tried to persuade our faculty to add three questions, which would have allowed to assess my conclusions to their new evaluation form. Unfortunately, these questions would have required to add a second page to the evaluation form.

    • Dear Wolfgang,

      You mentioned “the practice of university administrators to base important personnel
      decision on student evaluations of teaching. This creates strong
      incentives for instructors to teach in ways that would result in good
      student evaluations.” This is exactly why the Personnel faction argued that such decisions should not be based only on student evaluations, which sometimes seems te be the case. The Board of the University agreed and will spread this point of view throughout the university. In order to validate results from an evaluation some kind of follow up is required. Unlike Lorenzo Squintani’s ‘n=1’ experience (or at least n= very small) I think this is done adequately at the Faculty of Law. Anyone who thinks otherwise, please let me know!
      Being involved with student evaluations myself, I am just curious which three question you would like to add to the form?

      • just a clarification concerning what seems a personal attack of Bart to me: I have been involved in more than 20 course evaluations concerning about ten courses spread over four programmes, of which 3 at bachelor level, and 1 at master level, over a period of about 5 years. Bart, who surely has more experience then me with course evalutions – albeit from a different perspective – was persent at about half of them.

        Bart, if this is the way you wish to bring forward your discussion points, please reconsider it.

        About the issue of adding questions to the assessment form, I have to say, that in the past it was easier, at least at the faculty of law. Once I have even been able to make an almost complete new form, which provided great insight on how to improve a course. This was a very positive aspect. Unfortunatly things have changed. This year to add two questions, of which an open one, I had to discuss more then desired. At the end they were added and properly processed.

        It would be a first step in the right direction if lecturers could have more control over the manner in which course evaluation forms are shaped. This could also solve part of the issues indicated in the other comments.

        It remains, that course evaluations cannot be the only instrument to evaluate courses. Moreover, they should not occur in isolation but, as shown by the IRIO department example descrided in my prevous comment, they should bring lecturers from various courses taught in the same semester together, so to address cross-cutting issues.

        I am very pleased to see that we are now discussing about this issue, openly and respectfully.

        • Dear Lorenzo, my point is that your description of the evaluation process at the Faculty of Law is inadequate, at some points mistaken and perhaps even damaging.

          For instance you stated: “Evaluation meetings are, in practice, only a means for the
          administration to confront lecturers with the negative anonymous remarks
          that administrators read in student evaluations, reducing lecturers to a
          hamburger squeezed between students and administration.” If this is your perception then you are mistaken, if this is your experience you are one of the few. At least that’s what I think. Therefor I invited colleagues who feel the same to contact me. So far no one did. The follow up meetings are always open discussions. In fact our faculty is as far as I know the only one who organizes meetings like this. The reports and the minutes of the meetings are presented to the programme committees for them to discuss, without the anonymous and individual remarks. I am not saying everything is perfect and that there can be no improvements. I only want to prevent that students and colleagues will get the wrong impression based solely on your statement.

  3. That course evlautions can be organised in a more efficient and efective manner is a widly shared opinion. There are faculties which have already developed additional, but could also be alternative, systems for evaluating courses.

    For example, at the Faculty of Arts, cluster IRIO, student evaluations are supplemented by an informal meeting among all coordinators of the courses occurring in a given semester/year, and elected student representatives, under the leadership of a programme coordinator assistend by a member of the IRIO Programme Committee. In these meetings, personal opinions are diluted into the general opinion and translated into positive feedback and suggestions for improvements, at course and programme level. As all course coordinators are present, these meetings are an opportunity to discuss cross-cutting issues.

    Here we have an open system, leaded by students and lecturers, with administrators playing a discrete controlling role, which stimulates the establishment of a learning community by bringing forward different opinions in a respectfully way..
    This is a system that I would like to see applied more often than it is not the case.

  4. Ter aanvulling misschien goed ook even te wijzen op de kritische notitie hierover van de Personeelsfractie, die besproken is in de Universiteitsraad van december:
    http://www.casperalbers.nl/publications/PF-notitie-vakevaluaties.pdf. Wel jammer dat destijds geen reactie uit de mond van Nicolai Petkov is opgetekend. Ik kon dat althans niet terugvinden.

    Mijn ervaringen als betrokkene bij 25 jaar evaluaties bij de Faculteit Rechtsgeleerdheid zijn toch anders dan de hier geschetste 4 situaties. Zelden zie ik gemene opmerkingen tegen docenten. Met enige regelmaat zie ik lofuitingen, en ook tegen strenge docenten die studenten de waarheid durven zeggen (‘jullie moeten gewoon harder werken’). Zelden zie ik een slechte uitslag weerspiegeld in een slechte evaluatie en het is ook geen uitzondering dat een vak met een heel hoog slagingspercentage kritiek krijgt omdat het niveau als te laag wordt ervaren. Waar het om gaat is iets anders. Evaluatie-enquêtes moeten niet gezien worden als harde wetenschappelijke onderzoeksinstrumenten, maar moeten worden genomen voor wat ze waard zijn, namelijk opinipeilingen met erkende gebreken (zie wetenschappelijk onderzoek daarover), die nooit zonder meer gebruikt mogen worden in personeelsbeleid. Dat laatste punt is echter al gemaakt en staat wel opgetekend in de annalen van de universiteitsraad.

    Dat evaluaties of evaluatiegesprekken gebruikt worden om docenten klem te zetten tussen studenten en bestuur herken ik ook niet. Als meer collega’s bij de faculteit Rechtsgeleerdheid dat ook vinden, dan hoor ik dat graag, want dan is er iets niet goed.

LAAT EEN REACTIE ACHTER

Please enter your comment!
Please enter your name here

English