Nederlandse Vereniging voor Examens – word ook lid


Ik ben nu al een paar jaar lid van de Vereniging voor Examens en dit tot volle tevredenheid. Ik ben van mening dat iedereen die iets van doen heeft met toetsen en beoordelen lid zou moeten worden van deze vereniging. Het biedt een platform voor alle professionals in Nederland die bezig zijn met dit thema. Dit doet zij door informatie te verspreiden, een tweejaarlijkse conferentie en permanent aandacht te vragen voor het complexe en interessante  onderwerp toetsing in al haar facetten.

Dit weekend viel de nieuwe aflevering van het huisblad in de bus: EXAMENS. Het blad heeft qua uiterlijk niet bepaald de sexy appeal van een glossy, maar de  inhoud is altijd interessant en behoorlijk degelijk. Er worden altijd wel twee tot drie toetsinhoudelijke artikelen geplaatst van zowel wetenschappelijk onderzoekers als professionals in het veld. De artikelen zijn altijd ofwel uit de praktijk gehaald ofwel praktijkgerichte vertalingen van wetenschappelijk onderzoek. Daarnaast worden regelmatig achtergronden besproken bij ontwikkelingen in de toetspraktijk in het Primair Onderwijs, Voortgezet Onderwijs en Hoger Onderwijs.

Met het risico dat ik copyright schend, geef ik hier twee links naar de gastcolumn die ik schrijf voor het EXAMENS (maar ik dien daarmee natuurlijk het hoger doel). Hier is mijn column voor jaargang 9, 2012 aflevering 01 (Politieman veroordeelt voor diefstal) en hier voor jaargang 9, 2012 aflevering 02 (Ruilen?).

Advertisements

Voortentamens – flexibeler kunnen voldoen aan toelatingsvoorwaarden voor HO

In het kader van aan te scherpen toelatingseisen voor studenten tot het hoger onderwijs is er een interessante ontwikkeling te zien. Naast de reguliere examens en staatsexamens is er een derde lijn van examens in opkomst. Dit zijn de zogenaamde voortentamens. Studenten die willen starten met een studie aan een hogeschool of universiteit, maar daarvoor niet het juiste profiel op de middelbare school of andere vereiste vooropleiding hebben gedaan, kunnen soms alsnog worden toegelaten als ze slagen voor voortentamens in de ontbrekende vakken. Dergelijke voortentamens zijn er voor de vwo-vakken Biologie, Natuurkunde, Scheikunde, Wiskunde A en Wiskunde B. Voor de toelating tot schakelprogramma’s naar masteropleidingen van de TUDelft is er het voortentamen Wiskunde T.

De ontwikkeling en afname van deze toetsen wordt verzorgd door de Open Universiteit. Deze voortentamens worden een paar maal per jaar afgenomen. Het voortentamen Wiskunde T. wordt digitaal afgenomen. Studenten kunnen zich daar zelf voor aanmelden en kunnen dat tentamen afleggen op een door henzelf gekozen tijdstip in een locatie van de OU. De studenten betalen een bedrag per voortentamen. Het systeem lijkt erg flexibel en laat zien hoe digitale toetsvormen kunnen worden ingezet om meer flexibiliteit te krijgen in toelating tot  het hoger onderwijs.

Meer informatie: http://www.voortentamen.nl/

Over het ‘versimpelen’ van tentamens – of over ‘versimpeling’ van het debat

In deze tijd van het ‘bashen’ van het hoger onderwijs en onderzoek wordt een nieuw hoofdstuk toegevoegd. Na InHolland, Tilburg, HvA en Windesheim lijkt nu ook de VU aan de beurt. De reden: een docent van de afdeling politicologie van de faculteit Sociale Wetenschappen heeft in een radiointerview met BNR nieuwsradio een beschouwing gegeven over de dagelijkse praktijk van docenten en opleidingen. Hij zei niets nieuws. Hij herhaalde hetgeen al jaren wordt geroepen in het hoger onderwijs, namelijk dat het huidige financieringssysteem perverse prikkels geeft. Als je financiering per afgestudeerde student ontvangt is de druk groot om studenten zo snel mogelijk door een opleiding heen te loodsen. Een relatief eenvoudige manier om dat te doen is door de toetsen die studenten moeten afleggen ‘relatief gemakkelijker’ te maken. De docent laat duidelijk merken dat het docentencorps dergelijke suggesties (als ze al gedaan worden) met afkeuring ontvangt en naast zich neerlegt (dat is mijn ervaring op de VU). De suggestie treft docenten namelijk in het hart – het ‘niveau’ van hun vak.

De uitspraak van deze docent is aanleiding voor Jasper van Dijk van de SP (toevallig ook een politicoloog!) om kamervragen te gaan stellen. In zijn betoog voor BNR geeft Jasper van Dijk aan dat het allemaal wel verschrikkelijk is en heel erg en dat het niveau niet meer gegarandeerd kan worden. Gelukkig zet hij een stap extra een geeft aan dat dit in  principe niet de ‘fout’ is van de instellingen voor hoger onderwijs of de docent, maar simpelweg een te verwachten effect is van deze vorm van ‘outputfinanciering’.

Interessant is verder hoe de interviewer en de geïnterviewden omgaan met de termen ‘relatief gemakkelijker’ of ‘simpeler’.

De BNR interviewer vertaalt ‘versimpelen’ direct naar ‘doe maar wat minder papers en doe maar wat simpelers’. Blijkbaar is het zo dat in de ogen van de media (of de gemiddelde luisteraar van BNR?) papers minder ‘simpel’ zijn dan tentamens an sich. Onzin natuurlijk. Je kan elke toets (en ook een paper is een toets) zo gemakkelijk of moeilijk maken als je zelf wilt op basis van het stellen van de zak/slaaggrens. Wel kan je zeggen dat bij verschillende toetsvormen andere kennis en vaardigheden worden bevraagd. Daarbij blijkt overigens uit onderzoek dat de beantwoordingsvorm van toetsen er op zich niet zoveel toe doet. Van belang is vooral de aard van het probleem of vraagstuk dat wordt voorgelegd; dat bepaalt grotendeels de cognitieve activiteiten die de student gaat vertonen. Dit overigens weer los van het feit dat HBO en WO studenten een adequate scriptie moeten kunnen schrijven (wat je ook moet leren en toetsen).

De docent van de VU had al een betere aanduiding van ‘simpel’, namelijk ‘relatief gemakkelijker’ tentamens. Heel mooi is de toevoeging van het woord  ‘relatief’ omdat alles in het onderwijs – en zeker toetsing – relatief is.  Tentamens zijn instrumenten om studenten op een schaal van beheersinggraad te ordenen. Nadat dat gedaan is, is het aan de docent of opleiding om te bepalen waar de grens voldoende/onvoldoende wordt getrokken. En eigenlijk zou die grens bij voorkeur al vooraf bekend moeten zijn. In de  praktijk en uit onderzoek blijkt, dat het zeer moeilijk is om in te  schatten van de moeilijkheidsgraad van een vraag is (welk percentage van de studenten heeft het antwoord correct op een vraag). Docenten schatten de vaardigheid van studenten vaak te hoog in, maar docenten zijn het vaak onderling ook niet eens over de moeilijkheidsgraad van een vraag.

Er zijn echter geen vaste regels voor het leggen van de zak/slaaggrens. Er zijn goed beschreven methodes waarbij het vooral van belang is om ook het gezonde verstand te blijven gebruiken. Gaat het om het kunnen beheersen van bepaalde stof of vaardigheden gerelateerd aan bijvoorbeeld het beroep (leidend tot criterion referenced testing met een absolute cesuur of misschien zelfs mastery learning) of gaat het om een bepaalde beheersing ten opzichte van de andere studenten (leidend tot norm-referenced testing). En de invloed van de kwaliteit van het gegeven  onderwijs en mogelijkheden tot een goede voorbereiding op een tentamen spelen ook een grote rol. Laten we vooropstellen dat er niet zoiets bestaat als een absolute waarde voor zakken of slagen, laat staan een absoluut niveau. Er kan dan ook m.i. niets ‘gegarandeerd’ worden, tenzij het is ten opzicht van bepaalde duidelijk gestelde eisen en gewenste beheersingsgraad. Aan de duidelijke criteria ontbreekt het nogal vaak.

Illustratief  hiervoor is een interview met een student van de opleiding Journalistiek van Windesheim die zijn diploma niet krijgt. Deze student behaalde een cijfer 7 op zijn scriptie. Stel nu dat het ‘niveau’ te laag was en dat de opleiding besloot om de zak/slaaggrens met 1 punt te verhogen. Dan heeft deze student een 6 op zijn scriptie en dan is hij naar goed Nederlands gebruik alsnog geslaagd! Maar ja, misschien moet de zak/slaaggrens met 2 punten omhoog. Is deze student dan inderdaad terecht gezakt? Of is het zo dat in het beoordelingsschema van de scriptie een aantal absolute eisen worden gesteld die zondermeer ‘voldoende’ moesten scoren om het werk als geheel als voldoende te kunnen aanmerken? Scoorde de student daar in onvoldoende mate op? En zou de student dus sowieso niet kunnen slagen? We weten het niet.

Tot slot geldt voor het ‘garanderen’, dat het aspect van de betrouwbaarheid van beoordeling in de media nooit aan de orde is. Geeft een toets bij herhaalde afname weer eenzelfde uitslag? Is de score op een toets niet te sterk afhankelijk van het toeval? Of de beoordelaar? Juist in het Hoger Onderwijs is de betrouwbaarheid van toetsen een ondergeschoven kindje. Een onbetrouwbare toets kan leiden tot relatief veel ten onrechte gezakte, maar ook ten onrechte geslaagde studenten. Aandacht voor dat aspect is ook van belang. Juist daarover zou het gesprek van een opleidingsmanaget met docenten moeten gaan.

Om het ‘niveau’ van de afgestudeerden in het hoger onderwijs te ‘garanderen’ is meer nodig dan alleen op basis van incidenten van alles te gaan beweren in de media en de kamer. Zeker, de ‘perverse financieringsprikkel’ moet wat mij betreft nog liever gisteren dan vandaag worden afgeschaft. Maar tegelijkertijd moet de kennis en kunde rondom toetsing en toetsbeleid op een hoger plan worden gebracht en zullen goed onderbouwde methoden van toetsen en beoordelen breed moeten worden doorgevoerd in het hoger onderwijs.

What is it that is really acting as a barrier to widespread use of summative e-assessment in UK higher education? – Is it the same for NL also?

#ictovu

Dus toch! Het ontbreken van een goede fysieke omgeving voor het afnemen van toetsen is één van de belangrijkste barrières voor het op grotere schaal kunnen realiseren van digitaal toetsen!

Nora Mogey, University of Edinburgh 

For well over 10 years, computer-assisted assessment has purportedly been on the threshold of being the next big revolution in education, but somehow that revolution has never quite materialised. Many different reasons have been put forward to explain the slow rate of uptake, but so far these have not included the lack of suitable physical venues for on-computer assessments. This paper considers some of the barriers which have been highlighted to date, but seeks to argue that in reality, assessment spaces are the most significant barrier to ubiquitous on-computer assessments in universities. It goes on to suggest three different types of change which could be made to assessment spaces, and explores the likely consequences for institutions which invest in making changes to physical assessment spaces. The conclusion drawn is that changing the types of spaces available for assessment will naturally act as a catalyst for challenging the established pedagogies of assessment. Hence, not only can the revolution so long anticipated finally be precipitated, but it will bring with it opportunities for deep and fundamental changes in pedagogy more generally.

journals.sfu.ca/ijea/index.php/journal/article/viewFile/8/7.

Whoever Said There’s No Such Thing as a Stupid Question Never Looked Carefully at a Standardized Test

Misvattingen ten aanzien ‘expertise’ en ‘toetsen en beoordelen’.

Ik liep tegen een bericht aan op Psychology Today. Een interessant betoog omtrent validiteit van toetsvragen. Ze behandelen daarin een bepaald wiskundevraagstuk.

Het stuk onderstreept een terecht probleem bij toetsconstructie in zoverre dat in een toets niet vraagstukken moeten worden opgenomen die in principe niet tot ‘de stof’ behoren. Dergelijke vragen vormen namelijk geen afspiegeling van de stof. Je kan dan ook niet verwachten dat de reguliere student het vraagstuk zo op zou kunnen lossen. Ook moeten er geen vragen in worden opgenomen die niet eenduidig zijn te interpreteren door leerlingen. Dat levert namelijk erg veel ruis op en dientengevolge een minder betrouwbare toets.

Maar los daarvan staat er toch ook wel een hoop onzin in het stuk. De schrijvers zijn behoorlijk vooringenomen als het gaat om toetsen en toetsvraagbeantwoording. Ze maken m.i. de klassieke fout om op basis van één voorbeeld een veralgemenisering toe te passen. Op basis van één ‘slechte’ vraag concluderen dat toetsen van studenten op basis van standardized tests slecht zou zijn. Dus op basis van één vraagstuk zou de halve middelbareschoolpopulatie zakken? Hoe weinig wetenschappelijk.

Daarnaast gaan ze in op de inhoud van de gegeven voorbeeldvraag.

Het eerste probleem dat ze aankaarten is dat ze vinden dat leerlingen op de middelbare school geen problemen op hoeven te kunnen lossen die de halve academische wereld ook niet kan. Hmm, een ogenschijnlijk aardig argument. Het is echter een omkering van de gang van zaken. Het is namelijk niet zo dat als een deel van de ‘doelgroep’ iets niet weet, dat het dan ook niet relevant of niet belangrijk zou zijn? Als ik het vraagstuk bekijk dan zou ik zeggen dat het voor veel beroeps- en wetenschappeljke domeinen van belang is dat men met de gegeven notaties van het vraagstuk uit de voeten zou moeten kunnen. De wiskundigen in het stuk die aangeven dat de ‘wiskunde in het vraagstuk eigenlijk geen wiskunde is’  begrijp ik niet. Wiskunde is juist meer dan alleen maar kunnen optellen en aftrekken toch? Het gaat om om het kunnen abstraheren en deduceren. Iets dat nu juist precies het geval is in deze opgave.

Verder menen zij dat met de gegeven taak hoegenaamd niets zou worden gemeten bij de leerlingen. Want, zeggen zeg, als je het vraagstuk goed analyseert blijkt dat de opgaven eigenlijk heel eenvoudig op te lossen is als je éénmaal doorhebt wat de bedoeling is van het vraagstuk. En dat grijpen ze aan als argument om te onderbouwen dat het allemaal maar onzinnig is. Het tegenovergestelde is echter waar.

Uit expertiseonderzoek is het allang bekend, dat experts beschikken over een zeer goed ontwikkelde ‘intern schemata’, gerelateerd aan specifieke inhouden, in hun brein dat door specifieke en gerichte training is ontwikkeld. Hierdoor zijn zij in staat om problemen veel sneller te categoriseren op basis van hun diepere structuren of hun kennis van analoge problemen en kunnen op basis daarvan – vaak instantaan – betere oplossingsstrategiën kiezen en uitvoeren. In het voorbeeld van de schrijvers is dat nu precies het geval. De schrijvers zijn (door hun leeftijd en achtergrond als wiskundigen) veel beter in staat dan beginners om het vraagstuk te doorgronden en betitelen het dan snel als ofwel ‘te ingewikkeld’ (namelijk ogenschijnlijk een ingewikkeld vraagstuk) ofwel ‘te eenvoudig’ (namelijk eigenlijk heel eenvoudig).

De vraag moet echter zijn of de leerlingen die onderwijs hebben gevolgd om dit soort problemen op te lossen, ook daadwerkelijk door de toets als zodanig worden geïdentificeerd. Met andere woorden, of de item-test correlatie een aardige positieve waarde had op het wiskundig construct waarover de desbetreffende toets gaat. Mocht het zo zijn dat maar zeer weinig leerlingen deze vraag correct hebben beantwoord, dan moeten zowel de toetsconstructeurs als het onderwijsveld zich afvragen wat er aan de hand was met dit specifieke onderwerp cq. vraagstelling. Zat dit onderwerp niet in de curricula maar wordt dat wel geëist (bijv. vanwege politiek besluitvorming?): pas het onderwijs aan. Behoort het onderwerp niet tot ‘de stof’: haal de vraag uit de toets. Heel eenvoudig eigenlijk. Terwijl het zo ingewikkeld lijkt.

Niet met mij eens? reageer.

Hieronder de link naar het artikel:

http://www.psychologytoday.com/blog/the-homework-myth/201109/whoever-said-there-s-no-such-thing-stupid-question-never-looked-carefu

Sander Schenk heeft weer een divertissante post geschreven

Wat is toetsvragen maken toch moeilijk! Lees hoe snel er elementen in toetsvragen aanwezig zijn die tot verwarring en dubbelzinnigheid kunnen leiden. En bedenk: elke student die een probleem met een toetsvraag met een docent wil bespreken kost weer een extra kwartier of meer ….

wat er aan de hand is met de volgende vraag?

Wat is een ander woord voor action control?

a) Negatieve controle
b) Formele controle
c) Detailcontrole
d) Directe controle

Klik hieronder voor Sander’s post.

http://www.sanderschenk.nl/2011/workshop-perfecte-meerkeuzevragen

Heilige cijfers? – Prof. Lambert Schuwirth over toetsen en beoordelen

Prof. Lambert Schuwith geeft zijn mening over toetsen en beoordelen in het wetenschapsradioprogramma Hoe?Zo!

” We leven in een tijd waarin cijfers heilig zijn verklaard. Vooral in het onderwijs moet alles maar getoetst en gemeten worden. Zo laten we de schoolkeuze van onze kinderen afhangen van de Cito-toets en mogen studenten alleen hun studie voortzetten als ze een bepaald aantal punten hebben gehaald. Maar hoe effectief is onze drang om alles in cijfers te vatten eigenlijk? Onderwijskundige Lambert Schuwirth pleit voor de herwaardering van het menselijk oordeel in de onderwijspraktijk.”

Klik hieronder om het programma te beluisteren. Lambert’s bijdrage start rond het tijdstip van 20 minuten.

NTR : Hoe?Zo! Radio – Hoe?Zo! Radio – Heilige cijfers?