Rule of thumb: 40 questions in a 4-choice multiple-choice test. Why?

I often get asked how many questions need to be included in an end-of-course test for a typical higher education course. The answer to that problem is both simple and complex.

The simple answer to the problem is to use the rule-of-thumb: For a test consisting of 4-choice multiple-choice test use about 40 questions.

And why 40?

Well, consider the following:

IF

  • you manage to design fairly well discriminating test items (eventual Rir > 0.25) – implying that there is also a spread in the degree of knowledge or skill among the student population …
  • you want to keep administration time reasonable (say the test time should remain within 1-2 hours)
  • your subject matter is not too limited nor too comprehensive (say between 8-12 different topics)

THEN

  • The test reliability will be probably be acceptable (say alpha > 0.75)
  • And the validity (in terms of coverage of the subject matter) will probably be acceptable

The somewhat more complex answer to the problem is that if the premises are different (you are not able to design well discriminating questions, your subject matter is more comprehensive, the spread in knowledge and skill is small, you can allot more time for the test takers) then you should consider to use more questions in your test. It is not hard science.

For a nice elaboration on this issue if found http://www.indiana.edu/~best/bweb3/test-reliability/ interesting.

The rule-of-thumb is a typical Dutch rule-of-thumb by the way. See also for example http://www.utwente.nl/ces/toetsing/Docenten/Toetsconstructie/Aantal-vragen/

PwC via Questionmark also have some specific considerations for this. See http://blog.questionmark.com/how-many-items-are-needed-for-each-topic-in-an-assessment-how-pwc-decide.

A new job

Starting October 1-st I will start working full-time at the Onderwijscentrum VU of the department of Psychology and Pedagogy of the Vrije Universiteit Amsterdam. I will retreat from the daily burden of managing and advising regarding all kinds of e-learning systems of the VU such as Questionmark Perception, The Digital Exam hall, Streaming Video, Google apps, LTI-stuff. I will take a position as a trainer, teacher and advisor for VU University and external clients.

October 1-st marks the end of a long and fruitful 15 years of work of the ‘old’ ICT-Onderwijscentrum, the ‘old’ Onderwijscentrum VU and the team of Educational Advisors of the Library of the VU University. From  approximately 1999 onwards, a team varying in size and composition of about 5-12 people worked hard on projects aimed at raising the quality of education at the Vrije Universiteit. A large number of projects with individual teachers and with whole departments and institutionalizing systems for large scale use were accomplished. See for example here ohere.

I thank all my colleagues (not in any particular order) for many years of innovation and fine work. I hope to meet them on the VU Campus or on other occasions.

Daniel Drittij, Gerdien Jansen, Inge Wijts, Janneke van der Hulst, Joris van Kampen, Judith Kaandorp, Marthe van der Maat-Cupido, Michel Jansen, Patris van Boxel, Petra Fischer, Rob van Leeuwen, Sanne Meeder, Siema Ramdas, Thea van Lankveld, Alfred Hartoog, Barbara Allart, Carmen Peters, Ed Boscchaart, Evie Goossen, Gert-Jan Los, Hanna Kuijs, Hanne ten Berge, Hester Radstake, Ingrid van den Oord, Ingrid Spoelstra, Janke Poortinga, Johan Oomen, Linda Mebus, Liora Groen, Natascha Lubberding, Petra Wentzel, Pieter Groen, Rick de Graaf, Sander Steeman, Sytze Boschma, Victor Maijer

But first, tomorrow September 30, we will celebrate our ‘final day’ with some good food and a lot of drinks, some swearing and singing …

Hallo, @X@user.full_name@X@

Wat is het verschil tussen onderstaande twee e-mails:

1. Hallo student, wil je meedoen met onze cursus ….

of

2. Hallo Silvester, wil je meedoen met onze cursus ….

Juist, de kans dat ik meedoe met de cursus is significant groter als ik de 2e variant van de e-mail ontvang waarin mijn voornaam staat. Het mensen persoonlijk (en positief) aanspreken in e-mail verkeer (of SMS of Twitter of whatever) heeft een positief effect op het verhogen van deelname aan surveys en om die reden waarschijnlijk ook voor andere doelen.

En dat is interessant vanuit een perspectief van studiesucces; om actieve deelname van studenten aan onderwijs te bevorderen helpt het al als vanuit onze digitale leeromgevingen berichten worden verzonden (of getoond) waarin, als het maar even kan, de persoonlijk aanspreking verwerkt wordt.

In onze Blackboard-omgeving is die optie er ogenschijnlijk niet. Daarom krijg ik op dit moment veel mails via Announcements van Blackboard of via e-mail die mij in het geheel niet aanspreken. Alles is anoniem geformuleerd. Is dit bericht voor mij bedoeld? Vaak is niet eens duidelijk voor welke cursus zo’n bericht is.

Maar er is een oplossing voorhanden.

In Blackboard kun je een systeemvariabele gebruiken – bijv. @X@user.full_name@X@ – mits via ruwe html invoer –  in berichten of e-mail bodies waarmee iedere student toch persoonlijke wordt aangesproken. Ik zeg: gebruik die mogelijkheid – doen!

Natuurlijk moet Blackboard het kunnen invoeren van zulke variabelen gemakkelijk maken voor docenten door deze via de edit-balk van tekstvakken gewoon te kunnen selecteren en invoeren. Daarvan zeg ik ook: doen!

Bedankt voor het lezen van dit bericht @X@user.full_name@X@ en bedankt Jeroen Sanneman.

#yam #icto

—–

Referenties:

Houston, T. K., Coley, H. L., Sadasivam, R. S., Ray, M. N., Williams, J. H., Allison, J. J., … Kohler, C. (2010). Impact of content-specific email reminders on provider participation in an online intervention: a dental PBRN study. Studies in health technology and informatics, 160(Pt 2), 801.
Kim, C. (2008). Using email to enable e3 (effective, efficient, and engaging) learning. Distance Education, 29(2), 187–198.
Kim, C., & Keller, J. M. (2008). Effects of motivational and volitional email messages (MVEM) with personal messages on undergraduate students’ motivation, study habits and achievement. British Journal of Educational Technology, 39(1), 36–51.
Kim, C., & Keller, J. M. (2011). Towards technology integration: The impact of motivational and volitional email messages. Educational Technology Research and Development, 59(1), 91–111.
Woodall, W. G., Buller, D. B., Saba, L., Zimmerman, D., Waters, E., Hines, J. M., … Starling, R. (2007). Effect of emailed messages on return use of a nutrition education website and subsequent changes in dietary behavior. Journal of medical Internet research, 9(3). Retrieved from http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2047284/

Voor de gehele lijst van variabelen van Blackboard: zie:

https://help.blackboard.com/en-us/Learn/9.1_SP_12_and_SP_13/Administrator/230_Developer_Resources/010_Template_Variables

Helaas is er (nog) geen variabele die alleen de voornaam van de student weergeeft.

Weer meer toetsen afgenomen met Questionmark Perception VU in 2012

#ictovu #yam Net als in 2011 hebben we het aantal afgenomen toetsen via Questionmark Perception op de VU in kaart gebracht van 2012. Dus van 2012. Beetje laat, dat wel. Maar beter laat dan nooit.

aantallen afgenomen QMP toetsen 2012
aantallen afgenomen QMP toetsen 2012

En de groei zet nog steeds gestaag door. Een paar ups-and-downs. Maar het gaat goed. Naar verwachting zal de Digitale Toetszaal van de VU die in 2013 in bedrijf is genomen en het in gang gezette onderwijsintensiveringsproject bij Faculteit der Rechtsgeleerdheid deze aantallen nog verder opstuwen (hoewel we in dat laatste kader de meeste toetsen naar verwachting gaan afnemen via Blackboard – wist u dat de laatste update en SP van Bb de toetsmodule echt tot een werkbaar instrument maken?).

Digitale Toetszaal VU – 1e mijlpaal behaald

ballonnen

Vandaag was een heugelijke dag. De centrale ondersteuner Digitaal Toetsen op de VU, Daniël Drittij, meldde mij dat de KPI (Key Performance Indicator) voor de Digitale Toetszaal voor dit jaar al behaald is. In onze plannen voor de Digitale Toetszaal hadden we ingeschat dat het mogelijk moest zijn om 15.000 (of door verwarring ooit ook gezegd 17.000) toetsen in jaar 1 af te nemen. En vandaag was het al zo ver. Alle toetsen bij elkaar opgeteld komen we op 17.686 afnames. Kortom het gaat goed. En het werk is nog onder controle.

Vanwege al het werk is de blog wel enigszins slapende geraakt. Zo heb ik nog niet verteld over de aanvragen voor budgetten die gedaan moesten worden voor onze Leerinfrastructuur, de technisch en logistieke opzet en daadwerkelijke ondersteuning van een veelvoud van gelijktijdig lopende online toetsen bij onze Faculeit der Rechtsgeleerdheid (Zie blz. 18 op http://issuu.com/advalvas/docs/nr._03_24_september_2013 – let niet op tendentieuze titel over verschoolsing –  onzinnig) en de hernieuwde opzet voor de keuze die de VU wil gaan maken voor een Leeromgeving, een nieuw artikel in een te verschijnen boek of – let alone – mijn promotie-activiteiten (wat is een laatste deel toch moeilijk!)

Digitale Toetszaal VU – de Ad Valvas heeft ‘m ook ontdekt

Nu de Digitale Toetszaal van de VU klaar is voor gebruik en de grootste technische uitdagingen onder controle zijn, komt de informatiestroom goed op gang en worden stuk voor stuk opleidingen en docenten met hun toetsen en tussentoetsen binnengehengeld.

Afgelopen donderdag 13 maart verscheen een stuk in de Ad Valvas van de VU op de personeelspagina. De Ad Valvas is met haar nieuwe styling en redactionele opzet een goed blad geworden, en met zo’n personeelpagina die aandacht besteed aan de DigiTenT: Digitaal Toetsen in het Groot nog beter natuurlijk.

Het stuk gaat niet over de onder het project liggende business-case en lange besluitvormingstraject. Het stuk gaat niet over de techniek of de organisastie om digitale toetsen te realiseren of de inspanning om een dergelijk systeem logistiek in te passen in bestaande complexe logistieke roosteringsstructuur van een Universiteit. Het gaat ook niet over thema’s zoals het delen van vragenbanken of het realiseren van een cloud-gebaseerde toetsapplicatie. Het stuk legt ook niet een direct verband met de meer abstracte doelen die de VU nastreeft (het verhogen van het studiesucces, het realiseren van de ‘onderwijsagenda’, het behalen van ‘prestatie-afspraken’ met het ministerie, het slagen voor de ‘instellings-audit’, het verhogen van de scores op de NSE).

Het gaat wel over hetgeen een opleiding, docent of student er in praktische zin mee kan doen en bereiken. Redactrice Anita Mussche heeft het goed verwoord. De voordelen voor docenten en studenten staan voorop met een lichte drang om weer eens na te denken over de voordelen van toetsen met gesloten vragen, maar ook de combinatie van toetsvraagvormen en opdrachten specifiek t.a.v. het gebruik van beroepssoftware in toetssituaties. Ik denk dat dat de beste basis is om die meer abstracte doelen die de VU nastreeft uiteindelijk te helpen bereiken.

En ten aanzien van die voordelen nog wat illustratiefs. Er zijn nu al een stuk of wat docenten die toetsen hebben afgenomen in de DigiTenT die dat voorheen in kleine practicumzalen deden. Voor hen is het voordeel evident; de efficiëntie-slag voor hen is heel groot. De geminimaliseerde inspanning voor roostering en surveillance en het (bijna) verdwijnen van angst voor technisch falen. Een rust maakt zich van hen meester heb ik gezien. Het toont m.i. dat de DigiTenT zijn werk doet net als – zeg maar – een iPhone: het ding doet het gewoon zonder er verder over na te hoeven denken. Dat is de ultieme uiting van een perfect ontwerp.

OK, genoeg borstklopperij.

Personeelpagina in de Ad Valvas: http://issuu.com/advalvas/docs/advalvas_60_13/search?q=digitent

Meer informatie over de Digitale Toetszaal VU: http://bit.ly/digitent-vu

De onzin van rangordelijstjes op basis van de CITO Eindtoets

Het besluit van de staatssecretaris om de eindresultaten van groep 8 in het basisonderwijs openbaar te maken, heeft de discussie opnieuw doen oplaaien: Is de gemiddelde schoolscore op de Citotoets geschikt als maat voor de kwaliteit van het onderwijs? Het antwoord hierop volgens Cito is overduidelijk ‘nee’.

De toets is bedoeld als hulpmiddel voor de scholen, als tweede onafhankelijke gegeven naast het advies van de basisschool. Terecht stellen verschillende geledingen in het onderwijs dat de Citotoets niet meet wat de kwaliteit van een school is, maar meet wat leerlingen van groep 8 kennen en kunnen op het gebied van de Nederlandse taal, rekenen-wiskunde en studievaardigheden. De inspectie van het onderwijs kijkt daarom ook naar méér dan alleen de scores op een eindtoets om de kwaliteit van het onderwijs te beoordelen.
Cito geeft zelf duidelijk de grenzen aan van de waarde van de CITO toets voor vergelijken van scholen. Laten alle media, ouders en beleidsmakers hun artikel goed lezen om het gedoe met rangordelijstjes te voorkomen.
Interessant is overgens dat hetzelfde geldt voor de rangordelijstjes van de kwaliteit van bijvoorbeeld Universiteiten en Hogescholen.
Lees het bericht van CITO en download de PDF hier.