People analytics-experts hekelen overmatige survey-cultuur: schadelijk voor medewerkers

Universiteiten moeten onmiddellijk stoppen met het gebruiken van student-evaluaties voor het beoordelen van docenten. Zulke beoordelingen zijn wetenschappelijk ondeugdelijk en richten schade aan. Dit betoogt Daryl Cole, een Amerikaanse emeritus-hoogleraar filosofie, in het Journal of Academic Ethics.

Studenten laten ook factoren meewegen die niets te maken hebben met onderwijskwaliteit, zoals charisma, geslacht, uiterlijk of kleding

Het pleidooi maakte de nodige reacties los. Zoals bij Iris Breetvelt, gepensioneerd psycholoog/onderzoeker bij het Kohnstamm Instituut, een onderdeel van de Universiteit van Amsterdam. Als lid van de Centrale Ondernemingsraad van de UvA en lid van de ondernemingsraad van de Faculteit Maatschappij- en Gedragswetenschappen kwam ze in aanraking met de student-evaluaties.

Die evaluaties dragen bij aan onveilige werkomgeving voor onderwijzend personeel. “De ondernemingsraad kreeg klachten over de student-evaluaties. Docenten in de ondernemingsraad herkenden de zorgen.”

Evaluatie als volksgericht

Onderwijsevaluaties door studenten zijn op universiteiten de standaardpraktijk, zegt Breetvelt. “In 2018 heeft de NOS er een item aan gewijd. Docent = eikel, dat was de kop van het item en die zegt genoeg. Een student-evaluatie kan gemakkelijk doorslaan in een volksgericht.”

“De meerderheid van de evaluaties is redelijk”, vervolgt Breetvelt. “Maar er zijn ook excessen, want dit beoordelingssysteem biedt daar de ruimte voor. Die zit in de anonimiteit bij het reageren en de mogelijkheid voor open commentaar.”

“Die ruimte is bedoeld omdat de vragen niet alles afdekken en dat is logisch. Maar dit geeft studenten ook de mogelijkheid om zich te buiten te gaan. Los van het gemis aan relevantie, kunnen irrelevante reacties op de persoon een klap in het gezicht van de docent zijn.”

Rechter verbiedt eenzijdig gebruik evaluaties

In hoeverre docenten worden afgerekend op de student-evaluaties is onbekend, maar dat ze daar invloed op hebben is wel waarschijnlijk, betoogt Breetvelt. “Bij een geschil tussen een docent en de universiteit Groningen heeft de rechter gesteld dat de beoordeling van een docent niet uitsluitend gebaseerd mag worden op evaluaties door studenten.”

Meestal is de impact van de student-evaluaties op aanstellingen onzichtbaar. Breetvelt: “Veel docenten hebben een tijdelijke aanstelling. Als die niet worden verlengd, hoeven universiteiten dit besluit niet te motiveren. In hoeverre student-evaluaties een rol spelen hierbij wordt nergens vastgelegd.”

Goede docenten kunnen als slecht worden beoordeeld en omgekeerd

Breetvelt staat niet alleen met haar zorgen. De American Sociological Association stelt dat student-evaluaties weinig samenhang vertonen met andere maten voor onderwijseffectiviteit en leren. Gebruik student-evaluaties daarom niet voor personele beslissingen, aldus de waarschuwing uit de VS.

Het risico is groot dat studenten irrelevante factoren meewegen bij hun oordeel. “Sommige oordelen zijn relevant”, zegt Breetvelt. “Denk aan de manier van communiceren: een docent moet wel verstaanbaar zijn. Maar studenten laten ook factoren meewegen die niets te maken hebben met onderwijskwaliteit. Charisma van de docent bijvoorbeeld, geslacht, leeftijd, uiterlijk, kleding, dat soort zaken.”

Kwaliteit van het onderwijs in het geding

Minsten zo zorgelijk is dat student-evaluaties bij onzorgvuldig gebruik de kwaliteit van het onderwijs negatief kunnen beïnvloeden. Goede docenten kunnen als slecht worden beoordeeld en omgekeerd. Ineffectieve didactiek kan voorrang krijgen omdat studenten daar de voorkeur voor uitspreken. Breetvelt: “Studenten weten niet wat de werkelijk effectieve elementen voor hun eigen leerproces zijn.”

Wat ook een risico is, vervolgt Breetvelt, is de aantasting van de academische vrijheid. Docenten die zich uitspreken over maatschappelijke onderwerpen, lopen het risico daardoor negatieve beoordelingen te krijgen in de student-evaluaties.

Waarom zetten universiteiten niet een streep door deze dubieuze meetmethode? Omdat universiteiten die nu eenmaal nodig hebben, zegt Breetvelt. “Vanwege hun wettelijke verplichting om de kwaliteit van hun onderwijs inzichtelijk te maken. Er weinig andere opties voor het beoordelen van cursussen dan input van studenten te vragen.”

Kritiek en standaardisatie

Ondanks de jarenlange kritiek op de student-evaluaties zijn er weinig tekenen van verbetering. Breetvelt wijst op de standaardisering van de vragenlijsten die studenten gebruiken voor de evaluaties. “Over alle docenten wordt vaak hetzelfde gevraagd, hoewel de omstandigheden waaronder ze lesgeven enorm verschillen.”

“Een practicum natuurkunde is anders dan theoretisch college over fysiologie. Docenten die exacte vakken doceren, worden daarnaast gemiddeld een derde meeteenheid lager beoordeeld dan docenten die cultuur of maatschappijvakken doceren, omdat hun vakken moeilijker zijn.”

Als studenten hun lessen niet voorbereiden, is het moeilijk lesgeven. Toch worden docenten hier wel op afgerekend.

De rol van studenten bij lessen is geen onderdeel van de evaluaties. “In werkgroepen gaat het steeds vaker om interactie tussen docent en student”, gaat Breetvelt verder. “Daarvoor heb je twee partijen nodig. Maar als studenten hun lessen niet voorbereiden, is het moeilijk lesgeven. Toch worden docenten hier wel op afgerekend.”

Dan zijn er ook docenten die hun lessen niet zelf ontwerpen. De onderwijsmethode, de inhoud en het lesmateriaal krijgen ze aangereikt, waardoor ze beperkt invloed op de kwaliteit van het onderwijs.

Verduidelijk om welke kwaliteit het specifiek gaat

Kan dat echt niet anders? Toch wel. “Schaf bijvoorbeeld de anonieme evaluatie af”, suggereert Breetvelt. “Heb je als student een scherp oordeel, voeg dan verplicht de onderbouwing toe.”

“Ook kunnen universiteiten de opnames van online geplaatste colleges steekproefsgewijs beoordelen. En verduidelijk als universiteit wat verstaan wordt onder kwaliteit van het onderwijs, want die is lang niet altijd duidelijk omschreven. Hoe beter je de kwaliteit van het onderwijs definieert, hoe gerichter je daar evaluaties op kan afstemmen.”

Mooie inzichten wel degelijk mogelijk met HR-analytics

Ook Corine Boon, hoogleraar HRM en People Analytics aan Amsterdam Business School en directeur van het Amsterdam People Analytics Centre (APAC), waarschuwt voor het gebruik van student-evaluaties voor personeelsbeoordelingen. Onbetrouwbare data leiden tot slechte besluiten.

Desalniettemin kunnen de evaluaties toch belangrijk zijn, stelt ze. “Met HR Analytics kun je hele mooie inzichten verkrijgen die leiden tot goede besluitvorming. Maar die is afhankelijk van de juistheid van de onderliggende data. Kloppen die data niet, dan kun je niet veel met de uitkomsten.”

Door te laten zien wat je doet met de uitkomsten, voelen mensen zich gehoord, wat motiverend is om mee te werken aan evaluaties en onderzoeken

Dat risico is er bij student-evaluaties, denkt Boon. Bij verkeerd gebruik is dit een instrument met veel bias. “Vrouwen worden bijvoorbeeld slechter geëvalueerd dan mannen. Het meten van indrukken moet zorgvuldig zijn. Gebruik bijvoorbeeld betrouwbare meetinstrumenten en kijk naar de coherentie ervan.”

Dan de populatie die wordt bevraagd. “Het liefst wil je dat iedereen meedoet, maar dat gebeurt niet. Als niet iedereen meedoet, weet je niet wie wél meedoen en hoe representatief ze zijn voor wat je wil meten. Bij student-evaluaties weten we dat niet, want die worden anoniem ingevuld.”

Vragen moeten bruikbare verbanden aantonen

Ook de vragen zijn belangrijk. “Die moeten gericht en betrouwbaar zijn, zodat ze bruikbare verbanden aantonen”, zegt Boon. “Wat niet moet is dat organisaties de uitkomsten gaan interpreteren naar eigen willekeur.”

Betrouwbaarheid van het meten van oordelen is een zwakke plek van people analytics in het algemeen, zo waarschuwt Boon. Desondanks blijft een zuiver gebruik van dit instrument van groot belang.

“Omdat een terugval in tevredenheid vaak een signaal is dat meer aan de hand is. Het is daarom belangrijk om mensen hier continu over te bevragen. Met als risico dat steeds minder mensen willen meedoen, waardoor de betrouwbaarheid van het instrument minder wordt.”

Laat zien wat je doet met de uitkomsten

Boon stelt dat de animo voor het bevragen van meningen toeneemt als organisaties de uitkomsten delen. “Door te laten zien wat je doet met de uitkomsten, voelen mensen zich gehoord, wat motiverend is om mee te werken aan evaluaties en onderzoeken. Neem verbeterpunten die mensen aangeven serieus. Sommige organisaties koppelen zulke suggesties terug aan teammanagers, wat vaak gezien wordt als goede feedback.”

Maar de menselijke component blijft onmisbaar zodra het gaat om besluitvorming op basis van people analytics, zegt Boon. “Het nemen van goede besluiten vraagt om context, ondanks alle evidence op basis van data. Data is slechts één bron, maar ervaring van managers is ook belangrijk.”

“Onderzoekers in organisaties vragen niet voor niets om context van hun opdrachtgevers om de context van de data te duiden. Zonder die context kun je nooit blindvaren op data.”

“Dat geldt ook voor het gebruik van student-evaluaties. Voor het vaststellen van de kwaliteit van het onderwijs zou ik altijd meerdere meetmethodes naast elkaar leggen. Bijvoorbeeld door te kijken hoeveel studenten een bepaald vak halen. Hoe breder je kijkt naar een vraagstuk, hoe betrouwbaarder het besluit dat je erover neemt.”