Scoring, Analysing and Presenting Attractive Exam Reports with R

At the upcoming Technology Enhanced Assessment Conference, Monika Vaheoja of 10voordeleraar will present her demo of the paper: Scoring, Analysing and Presenting Attractive Exam Reports with R.

R is a versatile programming environment for statistics calculations and visualisation.

You can find the materials of the demo through this link.

Advertisements

Valsspelende studenten – wie houdt wie voor de gek #ictovu

Ik kreeg afgelopen week een mail van een docent van de VU. Hij was er door collega’s van een andere instelling op gewezen dat studenten (wellicht op grote schaal) zouden valsspelen bij online toetsen (voor een klein bonuspunt). Wat was zijn observatie?

Vorige week was ik een spreker op een conferentie om te vertellen over digitale voortgangstoetsen voor een klein bonuspunt voor het vak. Er zat iemand van psychologie van een andere instelling. Daar hadden ze zulke toetsen ook ingevoerd, maar het bleek dat na een jaar studenten massaal vals speelden. Ze hadden facebooksites gestart waarop ze alle vragen en antwoorden verzamelden. Dat bleek te kunnen door screen shots te maken van de vragen, en daar met softwarepakketten de tekst uit te halen.

Ik was geschokt en zei dat dit bij ons niet gebeurde. Toen kwam de pijnlijke vraag: “Hoe weet je dat?”. Na drie keer slikken kwam ik met dat er bij vals spelen tienen moeten vallen en dat gebeurt niet in mijn vak. Mijn vak zit aan het begin van de studie. Bij de andere instelling bleek de eerste cursus ook immuun voor het vals spelen, omdat de studenten of te naïef zijn of elkaar nog niet genoeg kennen. Maar bij latere cursussen moeten we dus oppassen. 

Hoe ontdek je valsspelen? Bij de andere instelling was het simpel: een student vertelde het na tentamen. Ouderejaars laten nu de docenten regelmatig meekijken met wat er allemaal op de “geheime” studentensites gebeurt. Bij ons moeten misschien eerstejaarsbegeleiders eens polsen bij studenten wat er aan vragen bekend is. En opletten of cijfers op de toetsen onverklaarbaar omhoog gaan.

Ik weet dat een dergelijk fenomeen bestaat. En wel zeker, er is een kans bij online toetsen dat studenten de vragen gaan verzamelen en gaan distribueren. Ook met random aangeboden vragen. En ik denk dat het een goede inschatting is dat eerstejaars nog niet zo snugger zijn om dat allemaal zo snel en efficiënt te organiseren als ouderejaars (hoewel ze wel steeds slimmer worden). Ik heb daar echter wel nadere gedachten over.

  1. Het is zo dat de tussentijdse toetsjes vooral een didactisch doel moeten dienen. Doordat studenten vragen gaan beantwoorden zouden ze met de stof aan de slag moeten gaan waardoor ze eerder en meer gedistribueerd (elke week) leren. Ook als voorbereiding op bijeenkomsten (colleges, werkcolleges) dienen ze een goed doel.  Daarnaast is de deelname aan deze toetsen een goede indicator van de score op een eindtoets (flinke correlatie).  Vooral bij gebrek aan deelname in een vroeg stadium zouden studenten al gericht aangespoord kunnen worden  om te gaan studeren (denk aan performance dashboard van Blackboard).  So far so good.
  2. Als er cijfers aan deze toetsjes worden gekoppeld (of voldoen/niet voldoen) zal de deelname aan de toetsen toenemen maar zal het belang voor studenten om er voor te ‘slagen’ ook toenemen. Er zal dan inderdaad een groep studenten zijn die op oneigenlijke wijze voor deze de toetsen wil slagen. Natuurlijk snijden ze zichzelf dan in de vingers omdat het beoogde effect van punt 1 helemaal verdwijnt. Hoe meer punten voor een eindbeoordeling aan die toetsjes worden gekoppeld, hoe groter de beloning voor studenten om deze oneigenlijke werkwijze te hanteren.
  3. Je zou als een politieagent het internet af kunnen speuren op het vinden van dergelijke vragenbanken. Je zou het deels kunnen automatiseren. Een heel karwei. Is natuurlijk nooit waterdicht. Daarna moet je de site nog uit de lucht zien te halen of de personen in kwestie overreden om de informatie er af te halen. Deze actie hoef je als docent echter zeker niet na te laten.
  4. Één andere remedie is om elk jaar nieuwe vragen te bedenken en/of de vragen langzaam te ‘seeden’ (als de tijd verstrijkt worden er steeds nieuwe vragen aan de pool toegevoegd). Het eerste lijkt me niet de bedoeling. Het tweede zal goed bedacht moeten worden (maar dan ligt ook uitputting van de vragenbank op de loer natuurlijk).
  5. Andere maatregelen betreffen het minimaliseren van de toegang van de studenten tot de vragen door bijv. het alleen aanbieden op een specifiek moment, het zo kort mogelijk aanbieden van de vragen, het zorgen dat de vragen alleen één voor één gemaakt kunnen worden ‘zonder terugscrollen’, door te werken met bijv. numerieke wisselende variabelen waar mogelijk, door niet (direct) de correcte antwoorden te laten zien na inleveren (maar dat op een moment te doen achteraf). Ook zou nog gecontroleerd kunnen worden hoe lang de studenten over de toetsen doen: als ze de toetsjes abnormaal snel beantwoorden dan zou dat kunnen duiden op ‘overschrijven’. Zo’n methode is natuurlijk niet waterdicht.
    Ik weet dat ze bij de andere instelling deze technieken allemaal al toepassen, maar dat juist daarbij de studenten blijken hun slimme verzamel- en verspreidingstechnieken te gaan toepassen.
  6. Ten slotte zou er voor gekozen kunnen worden om deze toetsen  gesuperviseerd aan te bieden. Als het goed is zal vanaf week 5 van 2013 de digitale toetszaal op de VU beschikbaar komen waarbij studenten tot een groep van 385 studenten, in één keer een dergelijke toets kunnen maken. Dan kun je per student ook meer dan slechts 10 vragen aanbieden, maar ze gewoon elke week 40 of meer vragen aanbieden. Dat zet meer zoden aan de dijk.
  7. Als dat te grootschalig lijkt zou ook de optie gekozen kunnen worden om de studenten in bijv. groepjes van 2 of 3 dergelijke toetsjes gesuperviseerd of wellicht ongesuperviseerd te laten maken. Door het groepsproces kunnen de studenten elkaar oppeppen om niet op een zo ongewenste manier een score te gaan behalen op dergelijke toetsen. Bovendien is uit onderzoek bekend dat dergelijk ‘collaborative testing’ goed werkt bij studenten.
  8. Nog meer. Er komen systemen beschikbaar waarbij de studenten thuis worden ‘geproctored’. Ze moeten dan een webcam hebben en wat speciale software. Alles wat ze dan achter en op het scherm doen wordt opgenomen en kan later afgespeeld worden. Kost zo’n EUR 4 per student (er kan zelfs live iemand meekijken – maar dat is echt te duur). Dit zal ook dat soort frauduleuze activiteiten verder kunnen minimaliseren. Ik heb contact met zo’n bedrijf en dat wil wel een keer een proef met ons doen om te kijken of zoiets zou werken. Iemand anders ook interesse?
  9. Helemaal tot slot zou je er voor kunnen kiezen om de toetsen gewoon niet te laten meetellen in de eindbeoordeling. Gewoon self-assessment. Probleem voorkomen.

Maar al met al: het gaat erom dat studenten die willen studeren daar ook op een goede manier door docenten toe in staat worden gesteld. Quizzes of Interactief studiemateriaal zijn daar voor bedoeld. Het blijft van belang om als docent dat doel voor ogen te houden. En uit ander onderzoek is gebleken dat het gedrag en de aandacht die de docenten geven ten aanzien van deze manier van studeren wel degelijk invloed heeft op de wijze waarop studenten daar mee omgaan. Zowel in negatieve, maar zeker ook in positieve zin.

Daarbij zal gedrag waarbij studenten zichzelf voor de gek houden ook altijd aanwezig zijn. Ook in de collegezaal zitten studenten die niks willen leren, die alleen de uittreksels lezen en met minimale inspanning willen slagen omdat dat nou blijkbaar moet. Ook daar is de aandacht die de docent geeft aan zijn collegevaardigheid en het enthousiasmeren van studenten van wezenlijk belang.

Innovative Multiple-Choice in formative tests

My recent blogpost, a discussion in a linkedin group on spychometrics and the just announced conference on formative assessment make me write this small post.

  • Answer Untill Correct (AUC) – test-taker selects answer, then receives feedback if correct or not, if not –> test-takers selects next answer etc.: http://www.epsteineducation.com/home/about/how.aspx
  • Discrete Option Multiple Choice (DOMC)  – test-taker is only shown one answering option of an mc question at a time, student must select correct answer when it is displayed: http://goo.gl/9ptvx
  • Certainty Based Marking (CBM) –  test-taker must provide certainty level of being correct for each option in an mc question: http://www.ucl.ac.uk/lapt/index.htm
  • NEW! Confidence  Based Marking – seems an interesting variant of Certainty Based Marking (but uses the old term of Gardner-Medwin for it unfortunately) – first, the test-takers only sees the stimulus, then rates confidence of being able to answer correctly, then is presented all options and then selects the correct option: http://goo.gl/fa6rf
  • Number right elimination testing (NRET) – a variant of elimination testing (ET) – mark incorrect answers, mark correct answer and provide certainty level for it:  http://www.ifets.info/journals/14_4/10.pdf
  • Liberal (Free-Choice) Multiple-Choice Tests – test-taker may select any option of an mc question but correct option is awarded 3 points, any incorrect selected option is awarded -1 point. Main idea: System discourages guessing: http://pareonline.net/pdf/v11n8.pdf, try it at https://quizslides.com/#0/6

So many ideas!

What is it that is really acting as a barrier to widespread use of summative e-assessment in UK higher education? – Is it the same for NL also?

#ictovu

Dus toch! Het ontbreken van een goede fysieke omgeving voor het afnemen van toetsen is één van de belangrijkste barrières voor het op grotere schaal kunnen realiseren van digitaal toetsen!

Nora Mogey, University of Edinburgh 

For well over 10 years, computer-assisted assessment has purportedly been on the threshold of being the next big revolution in education, but somehow that revolution has never quite materialised. Many different reasons have been put forward to explain the slow rate of uptake, but so far these have not included the lack of suitable physical venues for on-computer assessments. This paper considers some of the barriers which have been highlighted to date, but seeks to argue that in reality, assessment spaces are the most significant barrier to ubiquitous on-computer assessments in universities. It goes on to suggest three different types of change which could be made to assessment spaces, and explores the likely consequences for institutions which invest in making changes to physical assessment spaces. The conclusion drawn is that changing the types of spaces available for assessment will naturally act as a catalyst for challenging the established pedagogies of assessment. Hence, not only can the revolution so long anticipated finally be precipitated, but it will bring with it opportunities for deep and fundamental changes in pedagogy more generally.

journals.sfu.ca/ijea/index.php/journal/article/viewFile/8/7.

eAssessment Scotland conference – glad to post this for David

Dear colleagues

Hope all is well.  Please find below information about this years eAssessment Scotland conference.  Can I ask you to please circulate the information below among your colleagues at your respective institutions?

Many thanks,
David

eAssessment Scotland 2011: Keeping it Real – 26th August, Dalhousie Building, University of Dundee

eAssessment Scotland is the largest conference dedicated to exploring the benefits of technology-enhanced assessment practices in the UK. This year, eAssessment Scotland tackles the issue of ‘Authentic Assessment’ and whether we can improve the experience of learners by creating measures of skills and knowledge that more closely mirror what happens in the real world.  As in previous years, the event will bring together speakers from schools, colleges and universities to showcase innovation and best practice in the field.

The programme includes a variety of seminar options as well as hands-on workshops and also includes the annual Scottish e-Assessment Awards organised by the e-Assessment Association.

Keynote speakers for eAssessment Scotland 2011 are:

– Steve Wheeler (Professor of Learning Technology, University of
Plymouth)
– Becka Colley (Dean of Students, University of Bradford)
– Donald Clark (Board Member, Ufi Learndirect)
– Pamela Kato (Principal Investigator, University of Utrecht)

eAssessment Scotland 2011: Keeping it Real is the showpiece technology enhanced assessment event of the year and will be held at the Dalhousie Building, University of Dundee on Friday the 26th of August.
Registration is free!

Full programme information and registration at http://www.e-assessment-scotland.org

Follow us on Twitter: @eassessscotland #eas11

Dr David Walker
Library & Learning Centre
University of Dundee
DUNDEE

Tel: 44 (0) 1382 384819
Email: d.j.walker@dundee.ac.uk
Web: http://www.dundee.ac.uk/library/teaching
Twitter: @drdjwalker

e-Assessment Association: http://www.e-assessmentgroup.net/