Scoring, Analysing and Presenting Attractive Exam Reports with R

At the upcoming Technology Enhanced Assessment Conference, Monika Vaheoja of 10voordeleraar will present her demo of the paper: Scoring, Analysing and Presenting Attractive Exam Reports with R.

R is a versatile programming environment for statistics calculations and visualisation.

You can find the materials of the demo through this link.

Advertisements

EAC Outcomes revisited – data-mining in de toetsmodule van Blackboard wordt mogelijk

In een eerdere post had ik al eens melding gemaakt van het programma EAC Outcomes. Het is een applicatie die bestaat uit een Windows programma met een Blackboard Building block. Het programma geeft je de mogelijkheid om de resultaten van alle toetsen die in Blackboard aanwezig zijn  te kunnen bekijken, downloaden en analyseren. Uitgebreid analyseren. Zowel qua aantallen, maar ook psychometrisch.

Naar aanleiding van de steeds groter wordende aandacht voor toetsing en tussentijds toetsen op de VU is dit programma van groot belang. Blackboard zelf geeft namelijk helemaal geen inzicht in de mate waarin de assessement module wordt ingezet in het onderwijs. Met deze tool wordt dat mogelijk. Mijn nieuwe baas heeft aangegeven dat het belangrijk is om deze ‘management informatie’ boven water te krijgen. Dus dat moesten we maar gaan onderzoeken en doen. Voor de prijs hoeven we het niet te laten: Dollar 5000,- per jaar is te overzien.

Via een Adobe Connect meeting hebben de makers uitgelegd hoe het systeem precies werkt. Ik heb het voor het gemak maar opgenomen. Het is hier te vinden. Het duurt ongeveer 35 minuten.

EAC-outcomes is ook al beschikbaar voor Moodle. De makers van het programma zijn aan het onderzoeken of ze hun koppeling kunnen maken met Sakai en Canvas Instructure. Interessant.

Overigens heeft het systeem ook een mogelijkheid om Surveys via Blackboard veel doelmatiger vorm te geven en de resultaten te verwerken. Er zit al een mobiele interface bij. Ook handig.

Toetsvragen van hoog niveau #ictovu

Één van de meeste gestelde vragen van docenten in het hoger onderwijs gaat over het ‘niveau’ van toetsvragen. “De vragen moeten wel van voldoende niveau zijn”, “Ik ben er van overtuigd dat ik open vragen moet gebruiken om wel de studenten het niveau te laten behalen”, “met gesloten vragen kun je toch alleen een laag niveau meten?”. Herhaling van bespreking van dit thema kan nooit kwaad lijkt  me.

Eerst de toetstechnische benadering. Het is zonder meer mogelijk is om zeer moeilijke gesloten vragen te maken. Dat wil zeggen, toetsvragen die bijna alle studenten niet correct beantwoorden.  Zulke vragen kunnen vragen zijn die iets bevragen dat zeer complex is om op te lossen maar wel maar één correct antwoord hebben (bijv. in een domein zoals statistiek of vloeistofmechanica) of vragen waarvoor veel achtergrondkennis noodzakelijk is (rechtsgeleerheid) waarbij sprake is van het beste antwoord. Maar, vragen die gericht zijn op specifieke feiten (kennis?) kunnen óók heel moeilijk zijn (bijv. heel vakspecifieke informatie). Het niveau van toetsvragen moet om die reden niet verward worden met de ‘moeilijkheidsgraad’ van toetsvragen. In de praktijk worden ze echter wel  door elkaar gehaald en in discussies met en tussen docenten slecht onderscheiden.

Bij verder doorvragen en discussie wordt ook vaak aangegeven dat docenten graag willen dat er naar ‘inzicht’en ‘toepassing’ van kennis gevraagd wordt. De handboeken over toetsontwikkeling geven aan dat het mogelijk is om met meerkeuzevragen ook naar inzicht en toepassing te vragen. Maar hoe zien zulke vragen er dan uit? Wat kan een docent doen om dergelijke vragen te maken. Dat is niet direct eenvoudig. Wat de specifieke kenmerken van kennis, inzicht (begrip) en toepassing zijn in het licht van toetsvragen is niet eenvoudig te definiëren of zelfs ‘te meten’ of ‘weten’.

Uit onderzoek is bekend dat het denkproces dat bij een student wordt opgeroepen in eerste instantie afhankelijk is van de stimulus (het gevraagde). De wijze waarop geantwoord wordt (keuze uit alternatieven of zelf opschrijven) speelt daarbij veel minder een rol. Denk weer aan de vragen uit het domein van statistiek of vloeistofmechanica. Het type denkproces dat wordt opgeroepen is ook afhankelijk van de mate van beheersing van de stof. Wat voor een beginner er uit kan zien als een kennisvraag (“ja, dat moet je toch gewoon weten”) kan voor een expert een inzichtsvraag zijn of omgekeerd. Uit onderzoek is bekend dat beginners meestal ‘ harder’ denken bij het beantwoorden van vragen dan experts.  Een expert kan veel sneller en zonder expliciet te hoeven redeneren, correcte antwoorden op problemen geven omdat hij al meer van dergelijke problemen heeft gezien, opgelost en doordacht. Is het dan een kennisvraag of een inzichtsvraag als beantwoorden meer en meer geautomatiseerd kan worden gegeven bij toename van kennisniveua? Docenten nemen om die reden vaak aan dat een toetsvraag (en het antwoord daarop) “toch zo vanzelfsprekend is” en zien niet meer dat dergelijke kennis voor studenten (beginners) toch echt een groot beroep kan doen op hun denkkracht (met grotere kans op falen).

Wat vaak interessante reacties oplevert bij docenten is het aanbieden van zogenaamde startzinnen om vragen te ontwikkelen. Zulke zinnen kunnen een docent inspireren om toetsvragen te verzinnen van een bepaald ‘niveau’. Zie het een lijstje hieronder van Carriveau (CONNECTING THE DOTS, Developing Student Learning Outcomes and Outcome Based Assessment).

Logic

  • What is a flaw in the logic of …
  • Why is the logic used inadequate in relation to the argument that …
  • Why is the logic used inadequate for supporting the idea that …
  • What would be the most  logical conclusion for the logic that …
  • What would be the most logical result of …
  • Which logic would be most reasonable to use for …
  • Which logic would be most effective for …
  • Which logic would be least effective for …
  • Which line of reasoning would have the most value for …

Deze zinnen roepen bij mij ideeën op voor toetsvragen. Ondanks dat deze zinnen instructief zijn, bieden ze echter geen panacee. In het algemeen kun je namelijk zeggen dat vragen die betrekking hebben op iets dat letterlijk in de stof staat, bijna altijd als een kennisvraag kan worden beschouwd, ook als gevraagd wordt waarom iets bijvoorbeeld zus en zo is. Als dat namelijk al beschreven is in de stof is het in feite een kennisvraag – dit gebeurt veel op middelbare scholen. Vragen die de stof doen herformuleren, nieuwe-analoge problemen presenteren, nieuwe-analoge voorbeelden bevragen, concepten met elkaar in verband laten brengen e.d. zijn dan veel eerder te beschouwen als begripsvragen. Als er heftig gerekend moet worden zou ik spreken van toepassingsvragen.

Eigenlijk heel eenvoudig. Of is dit antwoord van te laag niveau?

More Unintended Consequences of High-Stakes Testing

 

 

 

Net aangetroffen. Een artikel van Cizek (die vaak kritiek uit op standardized testing) die heeft geprobeerd de goede kanten van getandaardiseerde high-stakes testen te benadrukken.

This article explores the basis of negative sentiments toward and current critiques of high-stakes s tudent testing from within the education profession. To promote some balance for current policy debates, evidence for 10 unintended, unrecognized, or unarticulated positive consequences is provided. The article concludes with an examination of the relationship between high-stakes testing and accountability systems.

More Unintended Consequences of High-Stakes Testing – Cizek – 2005 – Educational Measurement: Issues and Practice – Wiley Online Library.

EAC Outcomes for Test Statistics and WayPoint

hmmm, interesting … #ictovu

EAC Outcomes extends the Course Management System by providing instructors, programs, and institutions detailed item and validity statistics on tests taken in the Course Management System.

EAC Outcomes is a powerful, cost-effective solution with a simple, common sense approach: It creatively leverages and extends the Course Management System Blackboard.

That way, as instructors, students, and others teach, learn, and collaborate in a familiar environment.

EAC Outcomes for Test Statistics.

And I also ran into Waypoint Outcomes.  http://waypointoutcomes.com/waypoint-demo-center It looks like a very good Turnitin GradeMark competitor …

Nakijkfrustratie

Ik liep tegen een post van Jason B. Jones aan op The Chronicle of Higher Education. Jason vertelt dat hij veel minder frustraties heeft bij het nakijken van online studenten dan van studenten die hij kent via colleges of werkgroepen. Zelf ben ik in het verleden een docent Mechanica geweest.

Ik herken me zelf heel goed in de frustraties die Jason beschrijft tijdens het nakijken van studenten die hij kent en zelf heeft lesgegeven:

When I’m grading in a face-to-face class, all manner of thoughts disrupt my grading flow. For example, I’ll be frustrated that several people missed a basic point that we went over in detail during class. Rather than focusing on the papers, I’ll start re-hashing the class activity when we covered the point. (There is a small chance that I’m not right.) Or I’ll remember that, during said activity, the student wasn’t paying attention, or was absent, or whatever. Or I’ll start revisiting things I should’ve said more clearly that might’ve made a difference. (Because it’s all about me, right? Knowing that’s not true, and yet still being consumed by self-recrimination, is my usual mental state during grading binges.) Lots of times I’ll find myself torn between my sense of how the student’s doing in class (from participation and other cues) and the quality of the work submitted.

Ik ga er vanuit dat veel docenten dit kennen.

Daarom is het interessant om Jason’s beleving te lezen van het nakijken van studenten die hij niet persoonlijk kent en die hij niet persoonlijk heeft lesgegeven. Klinkt wel redelijk positief.

My Online Summer: Grading – ProfHacker – The Chronicle of Higher Education.

En vergelijk dat ook eens met het verhaal van een  ‘professionele beoordelaar’ die heeft gewerkt bij de grote commerciele testbedrijven uit de VS. Is dat anders? Interessante kost.

‘My Misadventures in the Standardized Testing Industry’

Sander Schenk heeft weer een divertissante post geschreven

Wat is toetsvragen maken toch moeilijk! Lees hoe snel er elementen in toetsvragen aanwezig zijn die tot verwarring en dubbelzinnigheid kunnen leiden. En bedenk: elke student die een probleem met een toetsvraag met een docent wil bespreken kost weer een extra kwartier of meer ….

wat er aan de hand is met de volgende vraag?

Wat is een ander woord voor action control?

a) Negatieve controle
b) Formele controle
c) Detailcontrole
d) Directe controle

Klik hieronder voor Sander’s post.

http://www.sanderschenk.nl/2011/workshop-perfecte-meerkeuzevragen