Toetsvragen van hoog niveau #ictovu

Één van de meeste gestelde vragen van docenten in het hoger onderwijs gaat over het ‘niveau’ van toetsvragen. “De vragen moeten wel van voldoende niveau zijn”, “Ik ben er van overtuigd dat ik open vragen moet gebruiken om wel de studenten het niveau te laten behalen”, “met gesloten vragen kun je toch alleen een laag niveau meten?”. Herhaling van bespreking van dit thema kan nooit kwaad lijkt  me.

Eerst de toetstechnische benadering. Het is zonder meer mogelijk is om zeer moeilijke gesloten vragen te maken. Dat wil zeggen, toetsvragen die bijna alle studenten niet correct beantwoorden.  Zulke vragen kunnen vragen zijn die iets bevragen dat zeer complex is om op te lossen maar wel maar één correct antwoord hebben (bijv. in een domein zoals statistiek of vloeistofmechanica) of vragen waarvoor veel achtergrondkennis noodzakelijk is (rechtsgeleerheid) waarbij sprake is van het beste antwoord. Maar, vragen die gericht zijn op specifieke feiten (kennis?) kunnen óók heel moeilijk zijn (bijv. heel vakspecifieke informatie). Het niveau van toetsvragen moet om die reden niet verward worden met de ‘moeilijkheidsgraad’ van toetsvragen. In de praktijk worden ze echter wel  door elkaar gehaald en in discussies met en tussen docenten slecht onderscheiden.

Bij verder doorvragen en discussie wordt ook vaak aangegeven dat docenten graag willen dat er naar ‘inzicht’en ‘toepassing’ van kennis gevraagd wordt. De handboeken over toetsontwikkeling geven aan dat het mogelijk is om met meerkeuzevragen ook naar inzicht en toepassing te vragen. Maar hoe zien zulke vragen er dan uit? Wat kan een docent doen om dergelijke vragen te maken. Dat is niet direct eenvoudig. Wat de specifieke kenmerken van kennis, inzicht (begrip) en toepassing zijn in het licht van toetsvragen is niet eenvoudig te definiëren of zelfs ‘te meten’ of ‘weten’.

Uit onderzoek is bekend dat het denkproces dat bij een student wordt opgeroepen in eerste instantie afhankelijk is van de stimulus (het gevraagde). De wijze waarop geantwoord wordt (keuze uit alternatieven of zelf opschrijven) speelt daarbij veel minder een rol. Denk weer aan de vragen uit het domein van statistiek of vloeistofmechanica. Het type denkproces dat wordt opgeroepen is ook afhankelijk van de mate van beheersing van de stof. Wat voor een beginner er uit kan zien als een kennisvraag (“ja, dat moet je toch gewoon weten”) kan voor een expert een inzichtsvraag zijn of omgekeerd. Uit onderzoek is bekend dat beginners meestal ‘ harder’ denken bij het beantwoorden van vragen dan experts.  Een expert kan veel sneller en zonder expliciet te hoeven redeneren, correcte antwoorden op problemen geven omdat hij al meer van dergelijke problemen heeft gezien, opgelost en doordacht. Is het dan een kennisvraag of een inzichtsvraag als beantwoorden meer en meer geautomatiseerd kan worden gegeven bij toename van kennisniveua? Docenten nemen om die reden vaak aan dat een toetsvraag (en het antwoord daarop) “toch zo vanzelfsprekend is” en zien niet meer dat dergelijke kennis voor studenten (beginners) toch echt een groot beroep kan doen op hun denkkracht (met grotere kans op falen).

Wat vaak interessante reacties oplevert bij docenten is het aanbieden van zogenaamde startzinnen om vragen te ontwikkelen. Zulke zinnen kunnen een docent inspireren om toetsvragen te verzinnen van een bepaald ‘niveau’. Zie het een lijstje hieronder van Carriveau (CONNECTING THE DOTS, Developing Student Learning Outcomes and Outcome Based Assessment).

Logic

  • What is a flaw in the logic of …
  • Why is the logic used inadequate in relation to the argument that …
  • Why is the logic used inadequate for supporting the idea that …
  • What would be the most  logical conclusion for the logic that …
  • What would be the most logical result of …
  • Which logic would be most reasonable to use for …
  • Which logic would be most effective for …
  • Which logic would be least effective for …
  • Which line of reasoning would have the most value for …

Deze zinnen roepen bij mij ideeën op voor toetsvragen. Ondanks dat deze zinnen instructief zijn, bieden ze echter geen panacee. In het algemeen kun je namelijk zeggen dat vragen die betrekking hebben op iets dat letterlijk in de stof staat, bijna altijd als een kennisvraag kan worden beschouwd, ook als gevraagd wordt waarom iets bijvoorbeeld zus en zo is. Als dat namelijk al beschreven is in de stof is het in feite een kennisvraag – dit gebeurt veel op middelbare scholen. Vragen die de stof doen herformuleren, nieuwe-analoge problemen presenteren, nieuwe-analoge voorbeelden bevragen, concepten met elkaar in verband laten brengen e.d. zijn dan veel eerder te beschouwen als begripsvragen. Als er heftig gerekend moet worden zou ik spreken van toepassingsvragen.

Eigenlijk heel eenvoudig. Of is dit antwoord van te laag niveau?

Advertisements

7 thoughts on “Toetsvragen van hoog niveau #ictovu

  1. Ik blijf mezelf toch afvragen hoe je zinvol met MC vragen “Los de vergelijking x^2+5x+6=0 op” kunt toetsen, als ook “de weg er naar toe” van belang is.

    1. Wat helpt – in MC-technisch zin – is een dergelijke vraag op te splitsen in kleinere stappen die je één voor één kan toetsen met een mc-vraag. Na beantwoording van zo’n deelvraag kan de student een aanwijzing krijgen voor de correcte stap en kan deze en vervolgstap aangeboden krijgen etc.

      Eind jaren negentig was er al software bij de TU-Delft in gebruik (Presto-Tempo) dat een dergelijke stapsgewijze aanpak ondersteunde. Daarin werd eerst de totale eindoplossing gevraagd (in numerieke zin – niet via MC-bevraging). Als de student daar niet in één of twee pogingen uitkwam, dan werden de deelstappen aangeboden. Alles geautomatiseerd afgevangen en iedere student kreeg andere variabelen aangeboden. Ik weet dat er ook andere software programma’s zijn die dergelijke oplossingmethodieken en toetsing daarvan ondersteunen. Ik meen dat de laatste versie van MapleTA deze aanpak van vraag- en antwoordspel ondersteunt.

      Anderszins zou het meten van de vaardigheid dat een student een dergelijk probleem op kan lossen, niet op één MC-vraag gebaseerd moeten worden. Zeker als er sprake is van een raadkans. Zoals altijd neemt de betrouwbaarheid van de beslissing of een student de vaardigheid beheerst toe als er vaker gemeten wordt. Dus zou er – in MC-technische zin – aan de student gevraagd moeten worden om een aantal maal zo’n opgave op te lossen. Dan wordt de beslissing in welke mate de student het probleem op kan lossen steeds beter onderbouwd.

      1. En als toevoeging: ‘de weg er naar toe’ beoordelen is natuurlijk ook van belang. De vraag is alleen of dit voor summatieve doelen (tentamens) ook moet door alle opgeschreven zaken in ogenschouw te nemen. Het leidt onherroepelijk tot meer subjectieve interpretaties door de beoordelaar en daarmee tot een lagere betrouwbaarheid.

        In MC-technische zin zou het om die reden vooral goed kunnen zijn om bij het genoemde voorbeeld, als alternatieven veel gemaakte fouten te verwerken in de alternatieven.

        Verder lijkt het me dat juist gedurende het leerproces de docent ‘de weg er naar toe’ moet kunnen bekijken en op basis daarvan het leergedrag of de kennis van studenten moet bijsturen. Als dat in een tentamensituatie moet is het eigenlijk al te laat.

      2. Ben er niet helemaal door overtuigd. Maple TA ken ik wel uit mijn onderzoek, het in deelstoppen oplossen van vergelijking is niet “Los de vergelijking op” en zelf de tussentappen vinden.Als de vraag het oplossingsproces niet “toetst” dan zullen ook meer vragen dat niet toetsen, lijkt me. Al heb ik wel eens de in mijn ogen “reuzensprong” gelezen dat bij juiste antwoorden een positief verband is met juist oplossingsproces en dat *dus* kan worden aangenomen dat het proces bij een goed antwoord wel beheerst zal worden. Op zich zie ik dat wel een beetje, maar zeker in de huisige rekenmachinetijden is dat lastig vol te houden tov. bijvoorbeeld vergelijkingen. Summatief: daar wil je toch ook een juist proces? Ik blijf het bekijken. Een onderzoek(je) in NL zou wel aardig zijn. Als ik hem niet vind, dan maar zelf doen. 🙂

    2. Ik merk dat dit bij een heel aantal docenten een hobbel is om hun toetsen om te zetten naar een digitaal systeem. Bij het beoordelen kom ik bij de rekenvakken erg vaak de opvatting tegen dat met name de weg ernaar toe belangrijk is. Docenten zien in de overgang naar mc-toetsen dan een deel van de ‘rijkheid’ van de toets verloren gaan. En daarnaast misschien ook wel rendement. Met een goede redenering maar wel met een rekenfoutje op een fout antwoord uitkomen kan zodoende toch punten opleveren.

      De laatste zin in de opmerking van Sylvester: ‘ dat juist gedurende het leerproces de docent ‘de weg er naar toe’ moet kunnen bekijken en op basis daarvan het leergedrag of de kennis van studenten moet bijsturen. Als dat in een tentamensituatie moet is het eigenlijk al te laat.’ ben ik het niet geheel eens. Als je wiskunde als vaardigheid ziet is de oplosroute belangrijker dan het antwoord. Het is nooit te laat. Het is blijven oefenen in het vinden van de juiste weg. De oplosroute zou dus ook in de alternatieven van het antwoord moeten zitten. De vraag is alleen hoe je dat fatsoenlijk in je alternatieven verwerkt krijgt en dan ook nog inzichtelijk hebt welke gedachtensprongen de student maakt.

      Dit blijkt best een lastig vraagstuk te zijn. Op dit moment heb ik het plan opgevat tot het maken van voorbeeld vragen in de techniekvakken om aan de hand daarvan docenten te inspireren tot het gebruik van digitale media.
      Dus als iemand voorbeelden heeft en dan ook nog uitgesplitst naar een taxonomie…. dan hou ik mij aanbevolen.

  2. De vraag is of het onderscheid tussen verschillende vraagformaten, tussen mc en open vragen, zo interessant is. Mijn stelling zou zijn dat een ander onderscheid, dat tussen summatieve toetsvragen, vragen bedoeld om cijfers te geven, en formatieve toetsvragen, bedoeld voor feedback in het leerproces, veel belangrijker is. En verder aan belang zal winnen met de realisatie van projecten als ‘Toetsing en Toetsgestuurd Leren’ van SURF, en ontwikkelingen op internationale uitgeversmarkten, waar de komst van toetsgestuurde digitale leeromgevingen heel dominant is (denk aan systemen als ALEKS, de MyLabs van Pearson, de LearnSmarts van McGraw-Hill, etc.). In die systemen is instantane feedback het toverwoord. Qua principe zitten ze heel dicht tegen de klassieke Montessorimaterialen aan: het maken van fouten, en de terugkoppeling die daarop volgt, is de belangrijkste ingrediënt van het leren. Met wat voor soort type vragen je zo’n fout ontlokt, doet er niet echt toe. Kijk maar eens naar de knappe demo van LearnSmart (http://www.mhhe.com/learnsmart/), waar je zal zien dat gesloten en open vragen elkaar afwisselen, net welke het efficiëntst is. Want efficiency, dat is het enige criterium om tussen vraagformaten te kiezen: kan een leerling vrij makkelijk een antwoord op een open vraag ingeven, en is dat antwoord ook eenvoudig te beoordelen: dan is een open vraag prima. In alle andere gevallen is een gesloten vraag veel efficiënter: zowel voor de student, als ook om op adequate manier een oordeel over het antwoord te geven (ik kan me wiskundige toetsvragen in Maple TA en andere systemen herinneren, waar de student bijna een cursus nodig had om te leren hoe een wiskundige formule moest worden ingetypt; nooit doen). In formatieve toetsing is er duidelijk geen plaats voor essayvragen: niet geschikt voor onmiddellijke feedback.
    Bij summatieve toetsing is snelle terugkoppeling minder van belang, en spelen andere afwegingen een rol. Waarbij overigens efficiency toch weer belangrijk is. Ik wil best geloven dat sommige denkprocessen beter meetbaar kunnen worden gemaakt met essayvragen, dan met andere typen vragen. Maar dat is op zich geen voldoende argument. De relevante vraag is of we in al die gevallen waar het kan, we ook daadwerkelijk de tijd nemen al die denkprocessen neergeslagen in de antwoorden op essayvragen te ontrafelen, en te gebruiken voor individuele feedback naar alle studenten. En is het antwoord daarop ontkennend, dan kunnen we ons afvragen of de argumentatie pro essayvragen geen oneigenlijke elementen bevat.

  3. Heren,

    Ik vond laatst dit artikel dat een vergelijking maakt in betrouwbaarheid van MC en CR vragen uit het beta-domein op basis van de College Board’s Advanced Placement (AP) Test.

    Wainer, H., & Thissen, D. (1993). Combining Multiple-Choice and Constructed-Response Test Scores: Toward a Marxist Theory of Test Construction. Applied Measurement in Education, 6(2), 103–118. doi:10.1207/s15324818ame0602_1

    Wat vertelt dat artikel ons?

    Groeten,

    Silvester

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s