Gesloten en Open vragen combineren in een toets

keep-calm-and-continue-testing-25Ik word zo nu en dan gevraagd hoe de betrouwbaarheid te bepalen is van een toets waarin open en gesloten vragen zijn gecombineerd en of combineren überhaupt een goed plan is. Opleidingen willen meer en meer af van de vanzelfsprekende MC-toetsen omdat de beperking daarvan sterker wordt gevoeld en voeren bijvoorbeeld een casus-met-open vragen-toets in naast het MC-gedeelte. Met het MC-gedeelte is het mogelijk  om de stof in de breedte te  dekken en met het open-gedeelte kan verdieping worden nagestreefd. De vraag is echter wat er gebeurt met de betrouwbaarheid en de berekening van bijvoorbeeld het cijfer op basis van de scores e.d. En hoe moet de verdeling zijn van vragen en scores?

Hieronder een wat uitgebreidere behandeling hiervan.

Er is in mijn beleving niks mis met een combinatie van gesloten en open vragen in een toets. Open vragen gericht op toepassing of analyse van kennis kunnen duidelijk een meerwaarde hebben voor toetsing; het is met open vragen wat gemakkelijker om vragen te stellen die deze vaardigheid van studenten aanspreken en studenten en docenten waarderen ze ook op voorhand al meer als zodanig (dat is altijd gunstig – ook percepties spelen in de beleving van kwaliteit van onderwijs een rol).  Daarnaast is uit  onderzoek bekend dat open vragen ander studeergedrag uitlokken: meer diepgaand leergedrag. Zie bijvoorbeeld dit bericht.

De betrouwbaarheid van toetsen met MC-vragen en open vragen is simpel te berekenen. Op basis van een score tabel waarin zowel de scores van de MC-vragen staan vermeld (dichotoom: 0-1) als de open vragen (polytoom: 0, 1, 2 etc.) kan Cronbach alpha berekend worden. Cronbach alpha is namelijk geschikt voor beide soorten data (in tegenstelling tot KR20 die alleen met dichotome data overweg kan). Kijk bijvoorbeeld maar eens op wikipedia: https://nl.wikipedia.org/wiki/Cronbachs_alfa. Bij veel toetssystemen worden deze analyses gewoon uitgevoerd.

Het is wel belangrijk om goed naar de vragen- en puntenverdeling te kijken van de combinatie van MC-vragen en open vragen. Daar zijn wat vuistregels voor te formuleren:

  • Verdeel de te behalen scorepunten zodanig dat belangrijke onderwerpen/vaardigheden meer vragen krijgen (MC-deel) of meer punten (subvragen) krijgen (open deel). Van belangrijker onderwerpen wil je namelijk meer informatie verzamelen om de uitslag op te baseren. Een aardig artikel hierover is bijgaande: http://blog.questionmark.com/how-many-items-are-needed-for-each-topic-in-an-assessment-how-pwc-decide.
    • Dit is dus iets anders dan het geven van veel scorepunten aan de moeilijke onderwerpen. Als je dat doet krijg je juist een wat vertekend beeld van hetgeen je populatie echt kan. De student met meer vaardigheid scoort namelijk vanzelf al punten op moeilijker vragen en zal vanzelf een hogere eindscore krijgen. Die score moet/hoef je dan niet artificieel op te schroeven. En open vragen zijn niet per sé moeilijker dan gesloten vragen overigens.
  • Verwerk minimaal 60 scorepunten in totaal voor MC en open vragen om acceptabele betrouwbaarheidswaarden te kunnen vaststellen (andere vuistregels hebben als ondergrens 40 scorepunten, zie Rule of thumb: 40 questions in a 4-choice multiple-choice test – a short follow-up…). Deze scorepunten moet je verdelen naar gelang het belang van de stof. In het algemeen echter, als je de MC-vragen in zet om spreiding over de stof te realiseren (belang: breedte van kennis) zul je bijvoorbeeld toch wel zo’n 30 MC vragen in een toets opnemen en dan 30 punten reserveren voor de open vragen (belang: toepassing en diepgang meten).
  • Als het  belang van de open vragen wat minder is dan 50% (in bovenstaande voorbeeld), dan kunnen de vragen uit het  open deel bijvoorbeeld met wat omrekening zodanig ‘geschaald’ worden dat ze minder zwaar wegen dan de vragen van het MC-deel.
  • Zorg ervoor dat bij de open vragen er wel daadwerkelijk puntenspreiding optreedt bij het scoren. Als er bijvoorbeeld een open vraag wordt gesteld waarbij een student 3 punten kan verdienen, maar bij de scores krijgen de studenten alleen maar 0 of 3 punten toegekend (dus eigenlijk dichotoom), dan gaat dat ten koste van zowel de betrouwbaarheid van de beoordeling als – naar verwachting – het slagingspercentage. Zorg er voor dat bij zo’n vraag studenten daadwerkelijk o, 1, 2, of 3 punten krijgen toegekend.

Soms wordt gevraagd of studenten zowel voor het MC-deel als het open deel een voldoende zouden moeten scoren of dat de delen elkaar moeten kunnen compenseren. Hier is de regel om compensatie toe te passen. We moeten er vanuit gaan dat in één toets een bijelkaar horende hoeveelheid kennis of vaardigheid wordt getoetst. Als in de stof onderdelen zitten die elk apart met een voldoende zouden moeten afgesloten is er in feite sprake van twee verschillende onderwijsonderdelen en zouden er twee aparte toetsen moeten worden samengesteld. Op dat moment moet dan ook voor beide onderdelen de betrouwbaarheid apart worden onderzocht.

En de cijfers? Hiervoor kan uitgegaan worden van het combineren van de gegevens: alle scorepunten kunnen bij elkaar opgeteld worden. De zak/slaaggrens wordt dan bepaald op basis van (volgens Nederlandse traditie) verdiscontering met de raadscore van het MC-deel. De raadscore wordt afgetrokken van het totaal aantal te behalen punten van de toets en studenten moeten dan de helft of meer scorepunten behalen van het overgebleven deel van de score-range voor een voldoende.

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s