Weer meer toetsen afgenomen met Questionmark Perception VU in 2012

#ictovu #yam Net als in 2011 hebben we het aantal afgenomen toetsen via Questionmark Perception op de VU in kaart gebracht van 2012. Dus van 2012. Beetje laat, dat wel. Maar beter laat dan nooit.

aantallen afgenomen QMP toetsen 2012
aantallen afgenomen QMP toetsen 2012

En de groei zet nog steeds gestaag door. Een paar ups-and-downs. Maar het gaat goed. Naar verwachting zal de Digitale Toetszaal van de VU die in 2013 in bedrijf is genomen en het in gang gezette onderwijsintensiveringsproject bij Faculteit der Rechtsgeleerdheid deze aantallen nog verder opstuwen (hoewel we in dat laatste kader de meeste toetsen naar verwachting gaan afnemen via Blackboard – wist u dat de laatste update en SP van Bb de toetsmodule echt tot een werkbaar instrument maken?).

2e ronde tender Toetsing- en Toetsgestuurd Leren levert een mooie oogst aan projecten op

SURFfoundation heeft met de 2e ronde voor haar tender Toetsing- en Toetsgestuurd Leren een mooie oogst aan projecten kunnen selecteren. De goedgekeurde projecten lijken gevarieerder dan de projecten die gesubsidieerd zijn in de eerste ronde. Opvallend is dat de meeste goedgekeurde aanvragen zich (weer) bevinden in het medisch domein. Dat is in mijn ogen het logisch gevolg van de aard van dat domein en het feit dat dit onderwijsgebied in Nederland goed georganiseerd is. Ook krijgen  onderwijs en didactiek hierin systematisch meer aandacht dan in andere onderwijsdomeinen in Nederland. Professionele aandacht voor goed onderwijs uit zich dan ook in projecten die tot de verbeelding spreken en vooruitstrevend zijn, maar tegelijkertijd een realistisch karakter hebben.

Gelukkig is er ook een project dat zich met dertien universiteiten inzet voor het verbeteren van de universitaire lerarenopleiding door middel van digitale formatieve en summatieve toetsvormen. En dat is een goede zaak. Het zou mooi zijn als up-to-date assessmentvormen helpen om de studie en het beroep van docenten aantrekkelijker te maken. Hopelijk zullen die docenten-in-spé deze methoden voor assessment dan ook zelf gaan gebruiken in hun eigen toekomstige loopbaan.

Daarnaast ontvangt  een project van meerdere hogescholen subsidie om een vragenbank rondom bedrijfsadminstratie en boekhouden op te zetten.  Dat is volgens mij een heel logische stap voor een domein dat in principe heel stabiel is en dat  l studenten kent.

Een project om digitale toetsen voor het MBO te ontwikkelen gericht op de basisdomeinen taal en rekenen lijkt me ook een project dat een duidelijk doel kan dienen.

Tot slot is een ander project gehonoreerd dat ik erg belangrijk vind. In SCALA richten de deelnemende instellingen zich op peer-review en online beoordelen van open vragen en werkstukken. Zeker in het hoger onderwijs wordt nog heel veel getoetst met open tentamens en werkstukken. Het stroomlijnen van nakijkprocedures en in het inzetten van peer-reviewvormen kan bijdragen aan betere, efficiëntere en effectievere beoordelingsprocedures. Op die manier wordt bij studenten aandacht gegeven aan het ontwikkelen van kwaliteitscriteria voor werkstukken en wordt de  feedback-functie van toetsen meer evident. Bovendien is dit project in die zin generiek dat het zich niet beperkt tot een specifiek domein. De mogelijke uitstraling naar andere instellingen maakt dit project erg interessant. Dat lijkt mij pure winst.

Natuurlijk zijn ook nogal wat projectvoorstellen gesneuveld. Voor de indienders is dat altijd een teleurstelling. Het zou mooi zijn als zij zich hierdoor niet laten ontmoedigen. Ik hoop dat ze hun goede ideeën zinvol blijven vinden en de tijd en middelen vinden om ze alsnog te realiseren.

http://www.surffoundation.nl/nl/actueel/Pages/Hogeronderwijsontvangtruimtweemiljoenvoorimpulsdigitaaltoetsen.aspx

Weer meer toetsen afgenomen met Questionmark Perception VU in 2011

#ictovu #yam Net als vorig jaar hebben we het aantal afgenomen toetsen via Questionmark Perception op de VU in kaart gebracht. Het is interessant om te kijken door wie de meeste toetsen worden afgenomen en of er groei zit in het aantal afgenomen toetsen. Ook krijgen we steeds meer handigheid in het analyseren van deze gegevens waardoor we wat verfijnder kunnen kijken.

Op basis van de analyse van vorig jaar kunnen we zeggen dat er nog steeds groei is. Namen we in 2009 nog ongeveer 173.800 toetsen af, in 2011 is dit gestegen naar ongeveer 216.030. Helaas kan aan de hand van de gegevens niet goed vastgesteld worden welke toetsen summatief zijn (tentamens) en welke formatief (oefentoetsen, interactieve oefeningen e.d.) en welke deels summatief zijn (tussentoetsen die meetellen voor een eindcijfer).

Ook hebben we meer inzicht in het aantal toetsen dat wordt gestart en dat daadwerkelijk wordt beëindigd. In totaal werden in 2011 230.254 maal een toets gestart, maar werden daarvan ‘slechts’ in 193.200 situaties de toets ook helemaal tot het einde toe gemaakt. Het verschil zit vaak bij oefentoetsen die geen einde hebben (je kan oneindig dooroefenen) of oefentoetsen waarbij studenten uiteindelijk niet op de submit-knop willen drukken. Er kan gesteld worden dat het totale aantal toetsen dat geacht kan worden te zijn ‘afgenomen’  inderdaad zo rond de 216.000 stuks ligt. Dat komt neer op zo’n 590 toetsen gemiddeld per dag. Het maximaal aantal toetsen dat op één dag werd gestart bedroeg 6662 toetsen op 24 januari 2011.

Ik vind het een mooie lijst. De groei lijkt wat af te vlakken, ergo: er is ruimte voor meer groei.

Helaas hebben we geen gegevens over het aantal toetsen dat via Blackboard wordt afgenomen, maar deze zouden bij onderstaande aantal kunnen worden opgeteld om de inzet van digitaal toetsen (met gesloten vragen) op de VU nog beter te duiden. En als de inzet van SafeAssign en de toekomstige inzet van bijvoorbeeld Turnitin en andere tools voor het inleveren, en (semi)automatisch nakijken van vragen en opdrachten (denk aan Wiskundetoetsen bij FEWEB of Statistics Quizzes bij FPP via MyStatlab van uitgeverij Pearson), dan worden de beelden nog interessanter.

Ik hoop dat het gebruik de komende jaren gestaag verder zal stijgen en dat de nakende komst van de digitale toetszaal hier aan bij zal dragen.

ClassMarker – Online Testing Free Quiz Maker Create the Best web-based quizzes

Weer een nieuwe online quizzing tool (althans voor mij). Ziet er heel aardig uit. Een mooie concurrent voor bijvoorbeeld ZOHO Challenge.

Easily Create First-Class Web Based Quizzes & Tests!

The Best Online Testing for Business & Education

ClassMarker’s secure, professional web-based testing service is an easy-to-use, customizable online quiz maker for business training & educational assessment with tests and quizzes graded instantly – saving hours of paperwork!

ClassMarker – Online Testing Free Quiz Maker Create the Best web-based quizzes.

What is it that is really acting as a barrier to widespread use of summative e-assessment in UK higher education? – Is it the same for NL also?

#ictovu

Dus toch! Het ontbreken van een goede fysieke omgeving voor het afnemen van toetsen is één van de belangrijkste barrières voor het op grotere schaal kunnen realiseren van digitaal toetsen!

Nora Mogey, University of Edinburgh 

For well over 10 years, computer-assisted assessment has purportedly been on the threshold of being the next big revolution in education, but somehow that revolution has never quite materialised. Many different reasons have been put forward to explain the slow rate of uptake, but so far these have not included the lack of suitable physical venues for on-computer assessments. This paper considers some of the barriers which have been highlighted to date, but seeks to argue that in reality, assessment spaces are the most significant barrier to ubiquitous on-computer assessments in universities. It goes on to suggest three different types of change which could be made to assessment spaces, and explores the likely consequences for institutions which invest in making changes to physical assessment spaces. The conclusion drawn is that changing the types of spaces available for assessment will naturally act as a catalyst for challenging the established pedagogies of assessment. Hence, not only can the revolution so long anticipated finally be precipitated, but it will bring with it opportunities for deep and fundamental changes in pedagogy more generally.

journals.sfu.ca/ijea/index.php/journal/article/viewFile/8/7.

Nakijkfrustratie

Ik liep tegen een post van Jason B. Jones aan op The Chronicle of Higher Education. Jason vertelt dat hij veel minder frustraties heeft bij het nakijken van online studenten dan van studenten die hij kent via colleges of werkgroepen. Zelf ben ik in het verleden een docent Mechanica geweest.

Ik herken me zelf heel goed in de frustraties die Jason beschrijft tijdens het nakijken van studenten die hij kent en zelf heeft lesgegeven:

When I’m grading in a face-to-face class, all manner of thoughts disrupt my grading flow. For example, I’ll be frustrated that several people missed a basic point that we went over in detail during class. Rather than focusing on the papers, I’ll start re-hashing the class activity when we covered the point. (There is a small chance that I’m not right.) Or I’ll remember that, during said activity, the student wasn’t paying attention, or was absent, or whatever. Or I’ll start revisiting things I should’ve said more clearly that might’ve made a difference. (Because it’s all about me, right? Knowing that’s not true, and yet still being consumed by self-recrimination, is my usual mental state during grading binges.) Lots of times I’ll find myself torn between my sense of how the student’s doing in class (from participation and other cues) and the quality of the work submitted.

Ik ga er vanuit dat veel docenten dit kennen.

Daarom is het interessant om Jason’s beleving te lezen van het nakijken van studenten die hij niet persoonlijk kent en die hij niet persoonlijk heeft lesgegeven. Klinkt wel redelijk positief.

My Online Summer: Grading – ProfHacker – The Chronicle of Higher Education.

En vergelijk dat ook eens met het verhaal van een  ‘professionele beoordelaar’ die heeft gewerkt bij de grote commerciele testbedrijven uit de VS. Is dat anders? Interessante kost.

‘My Misadventures in the Standardized Testing Industry’