Valsspelende studenten – wie houdt wie voor de gek #ictovu

Ik kreeg afgelopen week een mail van een docent van de VU. Hij was er door collega’s van een andere instelling op gewezen dat studenten (wellicht op grote schaal) zouden valsspelen bij online toetsen (voor een klein bonuspunt). Wat was zijn observatie?

Vorige week was ik een spreker op een conferentie om te vertellen over digitale voortgangstoetsen voor een klein bonuspunt voor het vak. Er zat iemand van psychologie van een andere instelling. Daar hadden ze zulke toetsen ook ingevoerd, maar het bleek dat na een jaar studenten massaal vals speelden. Ze hadden facebooksites gestart waarop ze alle vragen en antwoorden verzamelden. Dat bleek te kunnen door screen shots te maken van de vragen, en daar met softwarepakketten de tekst uit te halen.

Ik was geschokt en zei dat dit bij ons niet gebeurde. Toen kwam de pijnlijke vraag: “Hoe weet je dat?”. Na drie keer slikken kwam ik met dat er bij vals spelen tienen moeten vallen en dat gebeurt niet in mijn vak. Mijn vak zit aan het begin van de studie. Bij de andere instelling bleek de eerste cursus ook immuun voor het vals spelen, omdat de studenten of te naïef zijn of elkaar nog niet genoeg kennen. Maar bij latere cursussen moeten we dus oppassen. 

Hoe ontdek je valsspelen? Bij de andere instelling was het simpel: een student vertelde het na tentamen. Ouderejaars laten nu de docenten regelmatig meekijken met wat er allemaal op de “geheime” studentensites gebeurt. Bij ons moeten misschien eerstejaarsbegeleiders eens polsen bij studenten wat er aan vragen bekend is. En opletten of cijfers op de toetsen onverklaarbaar omhoog gaan.

Ik weet dat een dergelijk fenomeen bestaat. En wel zeker, er is een kans bij online toetsen dat studenten de vragen gaan verzamelen en gaan distribueren. Ook met random aangeboden vragen. En ik denk dat het een goede inschatting is dat eerstejaars nog niet zo snugger zijn om dat allemaal zo snel en efficiënt te organiseren als ouderejaars (hoewel ze wel steeds slimmer worden). Ik heb daar echter wel nadere gedachten over.

1. Het is zo dat de tussentijdse toetsjes vooral een didactisch doel moeten dienen. Doordat studenten vragen gaan beantwoorden zouden ze met de stof aan de slag moeten gaan waardoor ze eerder en meer gedistribueerd (elke week) leren. Ook als voorbereiding op bijeenkomsten (colleges, werkcolleges) dienen ze een goed doel.  Daarnaast is de deelname aan deze toetsen een goede indicator van de score op een eindtoets (flinke correlatie).  Vooral bij gebrek aan deelname in een vroeg stadium zouden studenten al gericht aangespoord kunnen worden  om te gaan studeren (denk aan performance dashboard van Blackboard).  So far so good.
2. Als er cijfers aan deze toetsjes worden gekoppeld (of voldoen/niet voldoen) zal de deelname aan de toetsen toenemen maar zal het belang voor studenten om er voor te ‘slagen’ ook toenemen. Er zal dan inderdaad een groep studenten zijn die op oneigenlijke wijze voor deze de toetsen wil slagen. Natuurlijk snijden ze zichzelf dan in de vingers omdat het beoogde effect van punt 1 helemaal verdwijnt. Hoe meer punten voor een eindbeoordeling aan die toetsjes worden gekoppeld, hoe groter de beloning voor studenten om deze oneigenlijke werkwijze te hanteren.
3. Je zou als een politieagent het internet af kunnen speuren op het vinden van dergelijke vragenbanken. Je zou het deels kunnen automatiseren. Een heel karwei. Is natuurlijk nooit waterdicht. Daarna moet je de site nog uit de lucht zien te halen of de personen in kwestie overreden om de informatie er af te halen. Deze actie hoef je als docent echter zeker niet na te laten.
4. Één andere remedie is om elk jaar nieuwe vragen te bedenken en/of de vragen langzaam te ‘seeden’ (als de tijd verstrijkt worden er steeds nieuwe vragen aan de pool toegevoegd). Het eerste lijkt me niet de bedoeling. Het tweede zal goed bedacht moeten worden (maar dan ligt ook uitputting van de vragenbank op de loer natuurlijk).
5. Andere maatregelen betreffen het minimaliseren van de toegang van de studenten tot de vragen door bijv. het alleen aanbieden op een specifiek moment, het zo kort mogelijk aanbieden van de vragen, het zorgen dat de vragen alleen één voor één gemaakt kunnen worden ‘zonder terugscrollen’, door te werken met bijv. numerieke wisselende variabelen waar mogelijk, door niet (direct) de correcte antwoorden te laten zien na inleveren (maar dat op een moment te doen achteraf). Ook zou nog gecontroleerd kunnen worden hoe lang de studenten over de toetsen doen: als ze de toetsjes abnormaal snel beantwoorden dan zou dat kunnen duiden op ‘overschrijven’. Zo’n methode is natuurlijk niet waterdicht.
   Ik weet dat ze bij de andere instelling deze technieken allemaal al toepassen, maar dat juist daarbij de studenten blijken hun slimme verzamel- en verspreidingstechnieken te gaan toepassen.
6. Ten slotte zou er voor gekozen kunnen worden om deze toetsen  gesuperviseerd aan te bieden. Als het goed is zal vanaf week 5 van 2013 de digitale toetszaal op de VU beschikbaar komen waarbij studenten tot een groep van 385 studenten, in één keer een dergelijke toets kunnen maken. Dan kun je per student ook meer dan slechts 10 vragen aanbieden, maar ze gewoon elke week 40 of meer vragen aanbieden. Dat zet meer zoden aan de dijk.
7. Als dat te grootschalig lijkt zou ook de optie gekozen kunnen worden om de studenten in bijv. groepjes van 2 of 3 dergelijke toetsjes gesuperviseerd of wellicht ongesuperviseerd te laten maken. Door het groepsproces kunnen de studenten elkaar oppeppen om niet op een zo ongewenste manier een score te gaan behalen op dergelijke toetsen. Bovendien is uit onderzoek bekend dat dergelijk ‘collaborative testing’ goed werkt bij studenten.
8. Nog meer. Er komen systemen beschikbaar waarbij de studenten thuis worden ‘geproctored’. Ze moeten dan een webcam hebben en wat speciale software. Alles wat ze dan achter en op het scherm doen wordt opgenomen en kan later afgespeeld worden. Kost zo’n EUR 4 per student (er kan zelfs live iemand meekijken – maar dat is echt te duur). Dit zal ook dat soort frauduleuze activiteiten verder kunnen minimaliseren. Ik heb contact met zo’n bedrijf en dat wil wel een keer een proef met ons doen om te kijken of zoiets zou werken. Iemand anders ook interesse?
9. Helemaal tot slot zou je er voor kunnen kiezen om de toetsen gewoon niet te laten meetellen in de eindbeoordeling. Gewoon self-assessment. Probleem voorkomen.

Maar al met al: het gaat erom dat studenten die willen studeren daar ook op een goede manier door docenten toe in staat worden gesteld. Quizzes of Interactief studiemateriaal zijn daar voor bedoeld. Het blijft van belang om als docent dat doel voor ogen te houden. En uit ander onderzoek is gebleken dat het gedrag en de aandacht die de docenten geven ten aanzien van deze manier van studeren wel degelijk invloed heeft op de wijze waarop studenten daar mee omgaan. Zowel in negatieve, maar zeker ook in positieve zin.

Daarbij zal gedrag waarbij studenten zichzelf voor de gek houden ook altijd aanwezig zijn. Ook in de collegezaal zitten studenten die niks willen leren, die alleen de uittreksels lezen en met minimale inspanning willen slagen omdat dat nou blijkbaar moet. Ook daar is de aandacht die de docent geeft aan zijn collegevaardigheid en het enthousiasmeren van studenten van wezenlijk belang.