[Leren op afstand: lessons learned] #2 Vijf manieren om te evalueren op afstand

30 april 2019

Afstandsopleidingen zitten in de lift. Tegelijk staat de uitwerking ervaren vaak nog in kinderschoenen. In #1 van deze blog lees je wat het allemaal vraagt van studenten, lesgevers en aanbieders in afstandsopleidingen om kwaliteit te leveren en een opleiding succesvol af te ronden. Voor cursussen waar je een certificaat of diploma mee kan behalen, vormt evaluatie met stip een uitdaging: hoe kunnen we op een volwaardige manier beoordelen of een afstandsstudent de vooropgestelde doelen behaalt?

‘Evalueren op afstand’ houdt veelal in dat studenten online opdrachten inleveren als ‘digitaal bewijs’ van hun weten en kunnen. Ook de feedback van de lesgever gebeurt via digitale wegen. Denk aan audio, video, beeld, tekst en alle mogelijk denkbare combinaties.

Hieronder vind je vijf voorbeelden van grotere evaluatie-opdrachten. Ze dienen om in te schatten of studenten doelen bereikt hebben, of op goede weg zijn. De opdrachten zijn gestoeld op deze vier uitgangspunten over evaluatie:

1. Evaluatie vertrekt vanuit eenduidige en resultaatgerichte doelen. Studenten weten wat ze moeten kennen, kunnen en doen, tot op welk denkniveau ze aan de slag moeten met de leerstof (de taxonomie van Bloom helpt hierbij), welke producten ze moeten inleveren en op welke kwaliteitscriteria ze beoordeeld worden.
2. Evaluatie dient twee belangrijke functies: begeleiden (formatieve functie) en beoordelen (of de summatieve functie). Begeleidende evaluatie betekent dat je tijdens het leren het leerproces bijstuurt zodat een student meer, beter en efficiënter leert. Evaluatie-opdrachten vallen dus niet gewoon met een checklist aan het einde van de rit uit de lucht. De feedback onderweg is de krachtige motor om studenten doelen te laten bereiken.
3. Net als het leren op afstand, gebeurt ook het evalueren op afstand flexibel. Dat betekent niet dat een student ten allen tijde kiest wanneer en hoe hij wordt geëvalueerd. Doel is dat de student bewijst dat hij de leerresultaten behaalt. In de manier en het tijststip waarop studenten evaluatie-opdrachten aanpakken, zit bij afstandsopleidingen per definitie variatie. En liefst ook genoeg keuzeruimte.
4. Evaluatie-opdrachten werken motiverend en mikken op duurzame leerwinst. Dat houdt in dat de opdrachten relevant aanvoelen, vooral inzetten op ‘kennis doen werken’ en studenten uitdagen om te presteren op hun niveau.

De opdrachten zijn kort omschreven. Je plaatst ze best binnen deze setting: een professionele bacheloropleiding, 100% op afstand te volgen 100%. Dus geen blended vorm. Laat je inspireren om je eigen (online) evaluatiepraktijk te finetunen en stroomlijnen!

Deel gerust je eigen voorbeelden via saskia@schoolmakers.be. Dan voeg ik ze met plezier toe.

Saskia Vandeputte

---

1. Een digitaal examen op afstand met een lockdownbrowser en een monitoringssysteem

Multiple choice of confidence weighted vragen met automatische of handmatige correctie. Door het vastklikken van de browser en het monitoren van de evaluatiesetting tijdens het examineren, ga je ‘spieken op afstand’ tegen. Kan bijvoorbeeld met deze software. Studenten kunnen zichzelf vooraf na elke module veelvuldig testen met oefenvragen. Ze controleren zichzelf met antwoordsleutels. Voor de vragen waarbij vaak redeneerfouten worden gemaakt, voorziet de lesgever standaard bij de correctiesleutel te beluisteren audiofeedback waarin hij toelicht waarom antwoord X correct is.

---

2. Een digitaal takenportfolio met reflectiegesprek

Studenten krijgen een een hele lijst met mogelijke taken. Elke taak krijgt drie labels: de moeilijkheidsgraad (het niveau), de omvang (het geschatte volume tijd dat je erin steekt) en de beoogde doelen (denk voor een taalvak aan lees-, schrijf-, luister- en spreekdoelen). Afhankelijk van die drie labels, is een taak een bepaald aantal punten waard. Per taak staat beschreven welk product de student moet inleveren en wat de evaluatiecriteria zijn. Studenten stellen zelf volgens bepaalde criteria hun ‘takenportfolio’ samen voor een opgegeven aantal punten. Die samenstelling leggen ze voor aan hun lesgever. Bij een GO, kunnen ze aan de slag. Anders wordt er gesleuteld tot het portfolio evenwichtig genoeg is (cfr. de labels). Ter ondersteuning voorziet de lesgever kennisclips en tussentijdse feedback via Skype of screencasts. Na het indienen van het volledige portfolio, volgt via Skype een reflectiegesprek. De lesgever bevraagt hierin de student over de gebruikte aanpak, gemaakte keuzes, denkstappen, … Zo gaat hij na of de student weldegelijk de auteur is van de taken, en krijgt hij bijkomende informatie om accuraat te beoordelen. Voor een taalvak levert dit een extra kans op tot dialoog.

---

3. Een instaptest met een gedifferentieerd leerpad en leertaken als summatieve evaluatie. 

Bij de start van hun cursus leggen studenten éénmalig een online instaptest af die representatief de ondersteunende basiskennis en vaardigheden toetst van vier cursusonderdelen. Studenten krijgen per cursusonderdeel een score. Deze score dient om de beginsituatie in kaart te brengen en de student een gedifferentieerd leerpad aan te bieden. Want: afhankelijk van hun scores op de cursusonderdelen (minder dan 10, tussen 10 en 14 of meer dan 14), krijgen studenten een online leerpad voorgeschoteld dat ze zelfstandig doornemen. Dat gedifferentieerd leerpad ondersteunt en/of daagt hen op niveau uit. Voor elk cursusonderdeel waarop een student minder dan 14 behaalde, legt hij online een voortgangstest af. Om zich voor te bereiden op deze voortgangstest, kan de student kennisclips bekijken over de inhoud van dit cursusonderdeel, oefeningen maken met zelfcorrectie en via een online forum bijkomende vragen stellen aan de docent.

Zodra een student 14 behaalt op een cursusonderdeel (voor sommige studenten dus al meteen na de instaptest, voor anderen na één of meerdere voortgangstesten), start hij aan een takenportfolio met drie leertaken. Deze leertaken zijn complexer van aard en integreren de basiskennis en -vaardigheden van de vier cursusonderdelen. Voor elke leertaak kiezen de studenten uit twee tussentijdse deadlines om hun leertaak een eerste keer in te dienen. Na die deadline krijgen ze gepersonaliseerde feedback (met eventuele extra toelichting van de docent in een Skypegesprek).

Via het online forum kunnen studenten ook aan elkaar vragen stellen in functie van de leertaken. De beoordelende eindevaluatie bestaat uit een gewogen totaalscore op deze drie leertaken. De instap- en voortgangstesten dienen dus louter ter begeleiding.

Voorbeeld hierop geïnspireerd.

---

 4. Een one pager met peerfeedback en comparatieve beoordeling. 

Studenten maken een one pager waarin ze zichzelf voorstellen in de vorm van hun ‘personal brand’. Ze formuleren ambities, sterktes en ervaringen. De one pager is finaal bedoeld om zich te presenteren aan een eindjury, samengesteld uit docenten en het werkveld. Deze eindjurering maakt deel uit van een eindproef.

In eerste instantie krijgen de studenten via een e-reader en goede voorbeelden inzicht in wat een goede one pager met hun personal brand inhoudt. Daarna maken ze totaal maken ze drie versies van deze one pager, die telkens door anderen wordt geëvalueerd:

• Op versie 1 krijgen ze via Peergrade anoniem feedback van medestudenten.
• Op versie 2 krijgen ze via de D-PAC tool paarsgewijs vergelijkende feedback van medestudenten en drie docenten.

Daarna lopen studenten stage. Ze updaten hun one pager op basis van deze stage-ervaringen. Dit is een versie 3.

• Op basis van de derde versie maken studenten een videopitch van max. 4’. Deze pitch wordt opnieuw paarsgewijs vergeleken door een jury van twee hoofddocenten en drie juryleden uit het werkveld. Het is de pitch die als beoordelende evaluatie geldt.

Voorbeeld hierop geïnspireerd.

---

5. Case bespreking in twee stappen met evaluatie aan de hand van een rubric

Studenten krijgen bij de start van hun cursus een voorbeeldcase. Die voorbeeldcase is een complex praktijkvraagstuk. Bij de start klinkt dit soort casus voor studenten als Chinees. Wat wel al helpt, is een rubric die de evaluatiecriteria voor een goede casebespreking verheldert. Deze rubric dient om de studenten op het einde van de rit te evalueren op een eigen casebespreking.

Doorheen de cursus verwijst de docent in zijn online cursusmateriaal naar handvatten om de voorbeeldcase op te lossen. Zo gebruikt de docent deze case als modelvoorbeeld en rode draad doorheen zijn cursus. Als een student aangeeft hier klaar voor te zijn, krijgt hij een oefencase toegestuurd. De student werkt schriftelijk een antwoord op deze oefencase uit en krijgt hierop feedback van de docent aan de hand van de rubric. Zo krijgt de student een goede inschatting van waar hij staat en veel feedback. Tot slot is er een finale deadline waartegen een student de eindcase indient. Deze wordt beoordeeld op basis van een rubric. De docent kan daarbij beslissen om met een bijkomend Skypegesprek één bijkomende verdiepingsvraag te stellen.

Interesse voor een adviesgesprek, lezing of workshop over dit thema? Contacteer ons op info@schoolmakers.be

---

Deze blogreeks [Leren op afstand: lessons learned]  wordt gevoed door praktijkervaring met de e-course Leren Differentiëren van Schoolmakers en de bacheloropleiding Sport- en cultuurmanagement in afstandsonderwijs van Thomas More Campus Turnhout.