Whoever Said There’s No Such Thing as a Stupid Question Never Looked Carefully at a Standardized Test

Misvattingen ten aanzien ‘expertise’ en ‘toetsen en beoordelen’.

Ik liep tegen een bericht aan op Psychology Today. Een interessant betoog omtrent validiteit van toetsvragen. Ze behandelen daarin een bepaald wiskundevraagstuk.

Het stuk onderstreept een terecht probleem bij toetsconstructie in zoverre dat in een toets niet vraagstukken moeten worden opgenomen die in principe niet tot ‘de stof’ behoren. Dergelijke vragen vormen namelijk geen afspiegeling van de stof. Je kan dan ook niet verwachten dat de reguliere student het vraagstuk zo op zou kunnen lossen. Ook moeten er geen vragen in worden opgenomen die niet eenduidig zijn te interpreteren door leerlingen. Dat levert namelijk erg veel ruis op en dientengevolge een minder betrouwbare toets.

Maar los daarvan staat er toch ook wel een hoop onzin in het stuk. De schrijvers zijn behoorlijk vooringenomen als het gaat om toetsen en toetsvraagbeantwoording. Ze maken m.i. de klassieke fout om op basis van één voorbeeld een veralgemenisering toe te passen. Op basis van één ‘slechte’ vraag concluderen dat toetsen van studenten op basis van standardized tests slecht zou zijn. Dus op basis van één vraagstuk zou de halve middelbareschoolpopulatie zakken? Hoe weinig wetenschappelijk.

Daarnaast gaan ze in op de inhoud van de gegeven voorbeeldvraag.

Het eerste probleem dat ze aankaarten is dat ze vinden dat leerlingen op de middelbare school geen problemen op hoeven te kunnen lossen die de halve academische wereld ook niet kan. Hmm, een ogenschijnlijk aardig argument. Het is echter een omkering van de gang van zaken. Het is namelijk niet zo dat als een deel van de ‘doelgroep’ iets niet weet, dat het dan ook niet relevant of niet belangrijk zou zijn? Als ik het vraagstuk bekijk dan zou ik zeggen dat het voor veel beroeps- en wetenschappeljke domeinen van belang is dat men met de gegeven notaties van het vraagstuk uit de voeten zou moeten kunnen. De wiskundigen in het stuk die aangeven dat de ‘wiskunde in het vraagstuk eigenlijk geen wiskunde is’  begrijp ik niet. Wiskunde is juist meer dan alleen maar kunnen optellen en aftrekken toch? Het gaat om om het kunnen abstraheren en deduceren. Iets dat nu juist precies het geval is in deze opgave.

Verder menen zij dat met de gegeven taak hoegenaamd niets zou worden gemeten bij de leerlingen. Want, zeggen zeg, als je het vraagstuk goed analyseert blijkt dat de opgaven eigenlijk heel eenvoudig op te lossen is als je éénmaal doorhebt wat de bedoeling is van het vraagstuk. En dat grijpen ze aan als argument om te onderbouwen dat het allemaal maar onzinnig is. Het tegenovergestelde is echter waar.

Uit expertiseonderzoek is het allang bekend, dat experts beschikken over een zeer goed ontwikkelde ‘intern schemata’, gerelateerd aan specifieke inhouden, in hun brein dat door specifieke en gerichte training is ontwikkeld. Hierdoor zijn zij in staat om problemen veel sneller te categoriseren op basis van hun diepere structuren of hun kennis van analoge problemen en kunnen op basis daarvan – vaak instantaan – betere oplossingsstrategiën kiezen en uitvoeren. In het voorbeeld van de schrijvers is dat nu precies het geval. De schrijvers zijn (door hun leeftijd en achtergrond als wiskundigen) veel beter in staat dan beginners om het vraagstuk te doorgronden en betitelen het dan snel als ofwel ‘te ingewikkeld’ (namelijk ogenschijnlijk een ingewikkeld vraagstuk) ofwel ‘te eenvoudig’ (namelijk eigenlijk heel eenvoudig).

De vraag moet echter zijn of de leerlingen die onderwijs hebben gevolgd om dit soort problemen op te lossen, ook daadwerkelijk door de toets als zodanig worden geïdentificeerd. Met andere woorden, of de item-test correlatie een aardige positieve waarde had op het wiskundig construct waarover de desbetreffende toets gaat. Mocht het zo zijn dat maar zeer weinig leerlingen deze vraag correct hebben beantwoord, dan moeten zowel de toetsconstructeurs als het onderwijsveld zich afvragen wat er aan de hand was met dit specifieke onderwerp cq. vraagstelling. Zat dit onderwerp niet in de curricula maar wordt dat wel geëist (bijv. vanwege politiek besluitvorming?): pas het onderwijs aan. Behoort het onderwerp niet tot ‘de stof’: haal de vraag uit de toets. Heel eenvoudig eigenlijk. Terwijl het zo ingewikkeld lijkt.

Niet met mij eens? reageer.

Hieronder de link naar het artikel:

http://www.psychologytoday.com/blog/the-homework-myth/201109/whoever-said-there-s-no-such-thing-stupid-question-never-looked-carefu

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s