Opschalen van digitaal toetsen – 316 gelijktijdige inlogs geslaagd (en de resultaten allemaal binnen)

We zijn op de VU druk bezig om het digitale toetsen op te schalen. Dat houdt o.a. in het opschalen van de cohortgrootte die op hetzelfde moment een summatieve toets aflegt. We weten al van toetsen bij het VUmc dat onze Questionmark Perception omgeving stabiel functioneert bij 150 studenten die binnen een tiental seconden inlogt. Wat we nog niet wisten was hoe het systeem zich gedraagt bij bijvoorbeeld 300 of 400 studenten die gelijktijdig een toets starten en inleveren.

Vorige week hebben we een semi-summatieve toets laten afnemen onder een groep van 316 medische studenten. De studenten logden in in een tijdspanne van ongeveer 2 minuten. Rij voor rij. De toets bestond uit 40 vragen (mc, drag-and-drop etc.). Het inloggen verliep soepel en er was nauwelijks sprake van vertraging. Tijdens de toets traden een tweetal incidentele fouten op die waarschijnlijk te maken hebben met het Save As You Go script en met het afsluiten van de toets. Deze fouten hadden verder geen impact (alle resultaten waren keurig opgeslagen).

Het organiseren van deze toets is al een logistieke opgave op zich (verdelen van studenten, surveillanten, toetsleiders, formulieren, anti-afkijkkappen e.d.). De studenten waren verspreid over ongeveer 8 lokaties. Door de zeer gedegen voorbereiding vanuit het VUmc was dat echter tot in de puntjes geregeld.

Nu deze afname geslaagd is zal er in mei een tentamen worden afgenomen voor een vergelijkbaar grote groep. Bij dat tentamen mag niets misgaan. Als dat lukt is er een proof-of-concept neergezet en zal de overstap naar een Digitale Toetszaal (ik heb daar nog steeds goede hoop op) alleen maar verdere voordelelen opleveren.

Advertisements

6 thoughts on “Opschalen van digitaal toetsen – 316 gelijktijdige inlogs geslaagd (en de resultaten allemaal binnen)

  1. Toevallig hebben wij vandaag besproken om bij de eerstvolgende toetsronde ook met meer spreiding te gaan opstarten. Dat wil zeggen dat we de toets iets eerder open zetten, zodat de vroege binnenkomers direct kunnen beginnen. Als álle studenten ruim op tijd zijn, dan heeft dit natuurlijk geen effect meer. In dat geval is het rij voor rij opstarten een goed alternatief om te proberen.

    Goed om te lezen dat het bij jullie zo voorspoedig gaat en er zelfs nagedacht wordt over verdere schaalvergroting.

  2. Sander,

    Het gecontroleerd inloggen is van groot belang bij summatief toetsen (in combinatie met QM in ieder geval). Met jullie technische mensen (Caspar Ewals, Michel Duyvestein) hebben wij daar al veel contact over gehad en een zeer pragmatische testprotocol opgesteld voor vaststellen performance grenzen van dit soort systemen. De vorm daarvan is: X studenten starten een toets op in in Y seconden, waarna binnen Z seconden voor de langzaamste response de toets in het scherm moet staan (bij de VU: X=150, Y=3 sec, Z=30 sec).

    Groeten,

    Silvester

  3. Hoi Sander / Sylvester
    Interessante benadering voor response tijden. Ik ga kijken of we die in Wageningen ook boven tafel kunnen krijgen.

    Wat volgens mij naast het tegelijkertijd opstarten ook uit maakt is de opbouw van de toets (aantal blokken). Neem je dat ook mee in de berekening voor het aantal studenten dat je tegelijkertijd kunt toetsen?

    Met vriendelijke groet,

    Gerard

    1. Gerard,

      We hebben een gestandaardiseerde toets gemaakt waarbij random uit 3 topics 80 vragen worden getrokken, inclusief wat drag-and-drop vragen , een filmpje e.d. Deze worden in één keer (één blok dus) geladen. Wat mij betreft gebruiken jullie die toets ook een keer. Ik kan hem aan je sturen als Qpack.

      Groeten,

      Silvester

      1. Hoi Silvester,

        Graag. Kun je dan ook de testmethode toelichten? Heb je jmeter gebruikt voor het testen?

        Groet,

        Gerard

  4. Gerard,

    Wij laten deze testen doen door STOAS en voor zover ik weet gebruiken ze daar ook JMeter voor. Michel Duyvestein van de HRO kan je daar het best bij helpen.

    Groet,

    Silvester

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s