Kwaliteitsvol evalueren in het Hoger Onderwijs. Ook vanop afstand.

03 april 2020

De Vlaamse hogescholen en universiteiten schakelen momenteel massaal over op afstandsleren. In de voorbije weken werkten de onderwijsondersteunende diensten van universiteiten en hogescholen zich uit de naad om via webinars, blogs, tips, tricks en persoonlijk advies docenten een extra duwtje in de rug gaven richting de digitalisering van hun aanbod. Ook daarbuiten gonsde het van activiteit en wist de geïnteresseerde docent, opleidingsdirecteur, unit manager of departementsvoorzitter vaak niet wat eerst te lezen.

In het vooruitzicht van een langere sluiting van de universiteiten en hogescholen werpen zich ook vragen op over de manier waarop uiteindelijk geëvalueerd zal worden. In deze blog bekijken we evalueren op afstand door de bril van kwaliteitsvol evalueren. Op die manier willen we in alle hectiek even afstand nemen en waar mogelijk een aanzet geven om systematisch, geïntegreerd en kwaliteitsvol te denken. 

Toetsweb

In het hoger onderwijs staat het continue verbeteren van de kwaliteit van evaluaties en toetsing hoog op de agenda. Maar kwaliteit blijft voor velen een eerder abstracte term. De Nederlandse hogescholen Arnhem-Nijmegen (HAN) en Zuyd ontwikkelden als deel van de methodiek ‘De Toetsing Getoetst’ een ‘toetsweb’, dat concreet maakt waar we rekening mee moeten houden in de praktijk van toetsing en beoordeling als we kwaliteitsvol willen werken (NB: we gebruiken in deze blog de termen ‘toetsen’ en ‘evalueren’ door elkaar).

We merken dat het merendeel van de posts die de wereld ingestuurd worden rond toetsing op afstand, inzoomen op het aspect toetsen/toetstaken, bijvoorbeeld door stil te staan bij (formatieve en summatieve) digitale toetsvormen en tools. Het toetsweb expliciteert dat ook andere elementen bijdragen tot kwaliteitsvol toetsen: het toetsprogramma, het toetsbeleid, de toetsorganisatie en de toetsbekwaamheid van de betrokkenen (voor meer duiding bij elk van de componenten van kwaliteitsvolle toetsing, check ‘De kwaliteit van toetsing onder de loep’). De visualisatie door middel van een web maakt bovendien aanschouwelijk (1) dat alle ‘toetsdraden’ met elkaar in verbinding staan en (2) dat aan alle draden gewerkt moet worden met het oog op kwaliteitsvolle toetsing. 

Kwaliteitsvol evalueren in tijden van Corona

Hieronder zoomen we in op elk van de componenten van het spinnenweb. We nemen de tijd om stil te staan bij ‘oeroude’ inzichten in kwaliteitsvol evalueren. Dit combineren we met Coronatips, met andere woorden een selectie van informatie die we in de voorbije weken verzamelden en reflecties die we als Schoolmakers maken. We bundelden posts waarvan we enerzijds weten dat ze meerwaarde bieden met oog op kwaliteitsvol toetsen; en die anderzijds ingaan op vragen waarvan we vanuit ons begeleidingswerk weten dat ze momenteel binnen hoger onderwijs  leven. Op die manier willen we opleidingsverantwoordelijken, docenten en onderwijsondersteuners in het hoger onderwijs laten stilstaan bij de vormgeving van hun evaluaties in deze digitale tijden en hen ondersteunen hierin een volgende, kwaliteitsvolle en daarom duurzame stap te zetten.

→ Toets/toetstaken

Deze component is bij de meesten onder ons ‘top of mind’ als we het over kwaliteit van toetsing hebben. Dit geldt bij uitbreiding ook voor evaluatie op afstand. De toets definiëren we als een meetinstrument dat nagaat of de beoogde leerdoelen van het vak door studenten zijn en worden behaald. Toetsen met een formatieve functie sturen het leerproces van de student door middel van feedback bij. Bij summatieve toetsing worden aan de toets bepaalde consequenties verbonden, zoals het toekennen van studiepunten of het uitreiken van een diploma. Toetsen kunnen diverse vormen kan aannemen: naast kennistoetsen met meerkeuze- en open vragen denken we bijvoorbeeld aan essays, casusbesprekingen, portfolioassessments, reflectieverslagen en ‘performance assessments’. Een toetstaak is een item of opdracht binnen een toets. Bij het ontwerpen van toetsen en toetstaken in Coronatijden blijven de oude bekenden validiteit, betrouwbaarheid en transparantie van toepassing. Maar evengoed is het van belang om toetsen (ook) zo te ontwerpen dat ze bijdragen tot het leerproces van de studenten.

Coronatips:

• Van offline naar online evalueren: hoe doe je dat? De Radboud Universiteit ontwikkelde een handig stappenplan dat helpt om tot een alternatieve toetsvorm te komen. 

• Veel toetsen kunnen online of op afstand afgenomen worden. Naast een ‘inhoudelijke’ vraagt het vooral een mentale omschakeling als docent. Deze coronatijd daagt ons uit om kwaliteit en creativiteit te combineren. Ter inspiratie: de Hogeschool Amsterdam biedt een overzicht van summatieve toetsvormen en hun mogelijkheden om online afgenomen te worden. Ook dit is een mooi overzicht. Maak gebruik van de mogelijkheden die je eigen elektronische leeromgeving (ELO, bv. Blackboard, Canvas, Brightspace) biedt. Informeer bij je onderwijsondersteunde dienst welke tools zij daarnaast aanraden. Voordeel is dat deze wellicht gescreend zijn op vlak van privacyregeling en dat je kan rekenen op advies en ondersteuning.

• Afstandsonderwijs brengt ons terug naar de essentie met deze pertinente vragen: wat zijn de leerdoelen van mijn vak? Hoe kunnen studenten bewijzen dat ze die doelen op het juiste niveau (kwaliteitscriteria) beheersen? Hoe reik ik mijn leerstof aan? Hoe kan ik studenten hierbij uitdagen, ondersteunen, ruimte geven, …?  Zorg, zeker nu je mogelijk andere werkvormen inzet via digitale kanalen, voor zoveel mogelijk congruentie tussen de werkvormen en de evaluatie. De taxonomie van Bloom – hoe vaak aangehaald ook – blijft een nuttig houvast om doelen, evaluatievormen en -vragen op het juiste niveau te ontwerpen. Gebruik je collega’s als klankbord, leg je expertise samen. Overleg is een krachtige hefboom naar meer kwaliteit. Of haal inspiratie uit voorbeelden die andere docenten online zetten. Kijk daarom eens naar het Teacher Lab van de Howest, blader door de Bij-Voorbeeld Databank  of (her)lees deze blog van Schoolmakers. 
•  “Vergeet even dat examen”. In hun blog “Doelgericht of Toolgericht” stellen onder andere Dominique Sluijsmans en Tim Surma zich de vraag of we ons in deze tijden echt louter moeten fixeren op een eindtoets. Wettelijk is het niet verplicht om een vak af te ronden met een examen. Voor docenten liggen er kansen om toetsen nu formatief in te zetten, en te gebruiken als leerstrategie. Als docent is het echter verre van vanzelfsprekend hoe je dit moet aanpakken. Niet alleen betekent het een heuse omschakeling in het patroon van evalueren (zie ‘Toetsbekwaamheid’), het is als docent bovendien niet altijd duidelijk wat wel en niet mag (zie ‘Toetsorganisatie’ en ‘Toetsbeleid’). Voor wie zich wil verdiepen in de ommeslag van summatief naar formatief evalueren in het hoger onderwijs, ook na Corona, is het boek De Toetsrevolutie een aanrader. Check zeker ook de KdG Toolbox Formatieve Evaluatie voor verdere inspiratie.

• In ieder geval: nu live contactmomenten wegvallen, hebben studenten extra nood aan ‘toetsstenen’ en aan feedback. Dat is cruciaal om studenten ook een faire kans te bieden om de leerstof te beheersen en in te schatten of ze de doelen aan het behalen zijn. Dat kan op allerlei manieren, sterk afhankelijk van opzet en aard van je vak. Een lijstje aan mogelijkheden: verbetersleutels aanbieden, voorbeeldvragen en modelantwoorden aanbieden, kwissen via alle mogelijke formatieve tools (Socrative, Kahoot, bookwidgets, … kan evengoed via de toetssoftware in je ELO), “mijlpaal-opdrachten” (“deze opdracht zou je nu moeten kunnen. Indien niet, doe dit…”), meer open/productieve opdrachten waarop je feedback geeft, vragenuurtjes, discussiefora, coachingshalfuur via Skype, FAQ, verwijzing naar kennisclips voor pittige  leerstof , … Denk ook aan audio- of videofeedback: met een voice-over of screencast geef je feedback terwijl je een (schriftelijk) werk van de student bij de hand/op het scherm hebt. Werkt voor velen vlotter en efficiënter. Vaak zijn er geïntegreerde mogelijkheden met je ELO. 

• Kies je toch voor een ‘klassiek’, summatief examen op afstand? Lees dan deze blogs van SURF en Saxion Hogeschool die je meenemen in de afwegingen die je moet maken bij online summatief toetsen, en lees deze FAQ bij toetsen en beoordelen op afstand. Check het keuzemodel voor veilige toetsafname van SURF dat we hieronder toelichten (zie ‘Toetsprogramma’). Zet bij kleinere groepen in op alternatieve toetsvormen, zoals mondelinge examens of inleveropdrachten (bijvoorbeeld een essay of een beroepsproduct). Bij grootschalige schriftelijke examens ligt dit moeilijker en kan je bijvoorbeeld overschakelen naar een ‘take-home examen’. Daar komt echter het probleem van potentiële examenfraude kijken. Informeer je zeker ook over online proctoring om dit betrouwbaar en veilig te doen, al leeft het inzicht dat deze technologie nog niet op punt staat om op grote schaal ingezet te worden. De Radboud Universiteit biedt ook gebalde informatie aan over de do’s and don’ts van take-home examens en mondelinge toetsen op afstand. De Open Universiteit gaf dan weer een webinar over online summatief toetsen.

• Transparantie naar studenten toe over de gehanteerde evaluatiemethoden, de verschillende evaluatiemethoden, de weging ervan in het totale eindcijfer, manieren waarop ze feedback mogen verwachten, is nog meer noodzakelijk als je geen live contact (en dus ook geen live feedback) hebt van studenten. Omdat je de studenten minder face-to-face ziet, zijn er op dat vlak mogelijk nog meer dan anders vragen. Studenten zijn hierover in gewone tijden al onzeker. Een tip: leg je geschreven (of gesproken) aanpak en instructie voor je evaluatie voor aan een leek (bv. een huisgenoot)…. en werk met een FAQ (schriftelijk of met audio/video) over je evaluatie waarnaar je kan verwijzen om individuele vragen van studenten te beantwoorden.

• Een valide toets is een toets die ook eerlijk is. Denk dus goed na over wat je met de toets meet – beheersing van de leerdoelen of de mate waarin een student het hoofd boven water kan houden in deze moeilijke periode. Hou rekening met de moeilijkere situatie voor de studenten, leg de eisen bij nieuwe werkvormen niet hoger dan nodig en beperk bv. het aantal opdrachten waar mogelijk. 

→ Toetsprogramma

Een toetsprogramma biedt een overzicht van de toetsvormen die in een volledige opleiding worden gebruikt. Idealiter is een toetsprogramma meer dan louter het samenvoegen van alle evaluaties die ingezet worden. Als het goed is, is het een bewuste combinatie van toetsvormen, die passen bij de doelen en opbouw van een opleiding. De toetsen in een toetsprogramma zijn complementair: ze vullen elkaar aan en zorgen voor de dekking van de opleidingsspecifieke leerresultaten.

Coronatips:

• Het toetsprogramma van de opleiding kan in Coronatijden enige rust brengen. Normaal gezien worden (een aantal van) de opleidingsspecifieke leerresultaten herhaaldelijk, in verschillende vakken, over verschillende semesters heen, getoetst. Bekijk met het team of bepaalde (delen van) leerresultaten al voldoende getoetst werden in eerdere semesters/periodes, of nog voldoende aan bod komen in een latere fase van de opleiding. Mogelijk levert deze oefening een aantal leerresultaten op die je in  de komende examenperiode niet meer moet meenemen.

• Kan je bepaalde summatieve toetsen vervangen door permanente evaluatie (zie ook hierboven, “Vergeet even dat examen”)? 

• Permanente onderwijscommissies, departementsraden, opleidingscommissies zullen in de komende periode beslissingen moeten treffen over welke digitale toetswijzen in het curriculum geschikt zijn. Om een deze onderbouwde afweging te kunnen maken welke toetsmethode in te zetten, ontwikkelde SURF een keuzemodel voor veilige toetsafname. Hierbij wordt zowel het risico op fraude als het belang (‘stake’) van het toetsresultaat meegewogen. Bij het keuzemodel hoort ook een brochure, die bondig verdere duiding geeft bij het keuzemodel.

• Het zijn hectische tijden. Hoewel het niet de eerste reflex zal zijn, is het aan te raden te registreren wat er allemaal gebeurt. Welke toetsvormen werden in de opleiding gewijzigd? Wat was de aanleiding? Welke afwegingen werden gemaakt? Wie heeft wat wanneer beslist? Dit hoeft geen uitgebreid epistel te worden, maar bekijk het eerder als een soort logboek. Dit kan later van pas kan komen, enerzijds om (extern) verantwoording af te leggen, maar anderzijds ook om op een rustiger moment te gebruiken als basis voor reflectie. 

• Belangrijk: denk aan de draagkracht. Het zijn turbulente tijden voor studenten én docenten. Hou de vinger aan de pols over de haalbaarheid  van beslissingen die worden genomen op toetsprogrammaniveau nauwgezet in het oog.

→ Toetsorganisatie

De toetsorganisatie gaat over de manier waarop alle betrokkenen bij evaluatie, van docenten over opleidingsmanagement tot ondersteunende medewerkers, samen de gewenste toetskwaliteit realiseren. Hierbij is er aandacht voor zowel het ontwerpen van de toets zelf, als voor de faciliteiten die nodig zijn om de toetsing te realiseren. 

Coronatips:

• Cruciaal om te komen tot een goede toetsorganisatie is dat er duidelijkheid is over de taken, bevoegdheden en verantwoordelijkheden op het vlak van evaluatie en toetsing. Dit is in tijden van onzekerheid des te belangrijker. Het geeft rust en een zekere voorspelbaarheid. Communiceer daarom duidelijk over wie bepaalde beslissingen mag nemen, bijvoorbeeld over het inzetten van alternatieve toetsvormen, het gebruik van digitale tools, het overstappen naar permanente evaluatie. Schep bovendien duidelijkheid over wat wel en wat niet kan (zie ook ‘Toetsbeleid’).

• Even belangrijk als duidelijkheid over taken en bevoegdheden, is het overleg tussen de docenten. Zorg er bij de omschakeling naar toetsen op afstand voor dat wordt overlegd binnen de opleiding. Dit zorgt er enerzijds voor dat bijvoorbeeld de deadlines voor studenten voldoende gespreid blijven. Anderzijds kunnen goede praktijken gedeeld worden en beslissingen in afstemming gebeuren. Beleg regelmatig online overlegmomenten om dit soort zaken af te stemmen.

• Wees ook duidelijk in de communicatie naar studenten toe. Voor sommige studenten kan het in deze moeilijke tijd belangrijk zijn om te beschikken over een toegankelijk aanspreekpunt. Vermeld telkens contactpersonen bij wie ze terecht kunnen voor vragen en expliciteer in welke fasen beslissingen genomen zullen worden. 

• Omschakelen naar online toetsing en examinering kan alleen indien de nodige infrastructuur aanwezig is om dit te doen. In deze blog vanuit Saxion Hogeschool wordt duidelijk gemaakt dat bijvoorbeeld massaal omschakelen naar digitale toetsing online nog niet mogelijk is. Hoewel in de voorbije jaren al geëxperimenteerd is met digitale toetsing, werden deze examens nog op de campus afgenomen, in streng bewaakte settings. ‘Online proctoring’, waarbij studenten thuis een digitaal examen kunnen afwerken, heeft zijn nut al bewezen in kleinere (piloot)-projecten, maar is technisch en organisatorisch nog niet schaalbaar (zie hierboven ‘Toets/toetstaken’). Ga dus bij mogelijke beslissingen over een omschakeling naar online evaluaties na of dit niet op de beperkingen qua infrastructuur botst.

→ Toetsbeleid

Het toetsbeleid omvat de inhoudelijke en procedurele afspraken over toetsen en beoordelen, die gemaakt worden op het niveau van de instelling, de faculteit en/of de opleiding, en die er samen voor zorgen dat de toetsing kwaliteitsvol verloopt. 

Coronatips:

De Vlaamse hogescholen en universiteiten zijn volop bezig met het opstellen van duidelijke afspraken, die aan de universitaire of hogeschoolgemeenschap de nodige houvast bieden. Dat is nodig, want er zullen, zeker in het kader van toetsing, veel vragen rijzen over de marges waarbinnen aanpassingen aan de toetsing mogelijk zijn. Een greep uit de elementen waarover enerzijds duidelijk gecommuniceerd zal moeten worden, en waarvoor anderzijds kaders, instrumenten e.d.m. zullen moeten worden aangereikt:

• Taken en bevoegdheden (zie hierboven, ‘Toetsorganisatie’)
• Mogelijkheden tot aanpassingen in het toetsprogramma (zie hierboven, ‘Toetsprogramma’)
• Examens versus permanente evaluatie (zie hierboven, ‘Toets/Toetstaken’)
• Examens op afstand versus examens op locatie
• Planning van de examens, ook bv. inzake evaluaties van bepaalde competenties waarmee geschoven wordt naar een volgend jaar 
• Regelingen voor stages, practica en eindwerken. In deze blog dacht Kris Van den Branden al out of the box gedacht voor de lerarenopleidingen
• Eventuele aangepaste regels (bv. Saxion Hogeschool in Nederland nam de beslissing dat ‘take-home’ examens uitzonderingsgewijs kunnen plaatsvinden in ongecontroleerde settings; MIT heeft een aangepast Onderwijs- en Examenreglement opgesteld, waarin beslist is dat alle beoordelingen verlopen via pass/fail)
• Beleid inzake privacy. Docenten gaan momenteel zelf op zoek naar digitale tools. Probleem is dat voor deze tools vaak niet gescreend is of ze voldoen aan de privacyregelgeving (check bijvoorbeeld deze blog van Surfnet over Zoom en de GDPR). Docenten worden daarom best geïnformeerd over de tools die sowieso groen licht krijgen (zoals in het overzicht van de Hogeschool van Amsterdam dat we boven al aanhaalden), en dienen te worden ingelicht over het feit dat ze voor andere instrumenten contact moeten opnemen met de ondersteunende diensten. 
• Beleid inzake ethische aspecten van toetsen op afstand. 
• Beleid inzake gelijke kansen en ‘fairness’ (zie hierboven ‘Toetsprogramma’). 
• Beleid inzake communicatie, zowel naar studenten als docenten toe. 

→ Toetsbekwaamheid

Toetsbekwaamheid kijkt naar de aanwezige deskundigheid bij de actoren die bij de toetsorganisatie betrokken zijn. Sluijsmans en collega’s (2012, p.21) geven een mooi overzicht van wat dit zoal inhoudt. Samengevat gaat het om leerdoelen kunnen formuleren, verschillende evaluatiestrategieën onder de knie hebben en ze kunnen inzetten zodat ze afgestemd zijn op de leerdoelen. Verder moeten docenten feedback kunnen geven, communiceren over evaluatiemodaliteiten en -strategieën en zich bewust zijn van hun ethische en wettelijke verantwoordelijkheden bij toetsing.

Coronatips:

• Er is ontzettend veel kennis en expertise aanwezig binnen de hogescholen en universiteiten. Dé belangrijkste hefboom om momenteel te werken aan toetsbekwaamheid is kennisdeling. Leer van elkaar en met elkaar! 
• Alle hierboven opgesomde componenten van toetsbekwaamheid zijn in deze tijden natuurlijk ook belangrijk. Tegen de achtergrond van de Coronatips die we in de tekst hierboven opsommen, denken we dat docenten en andere actoren die bij toetsing betrokken worden, vooral nood hebben aan professionalisering en ondersteuning op het vlak van:
  • Constructive alignment: hoe de meest geschikte toetsvormen kiezen om de leerdoelen te bereiken in een snel wijzigende context;
  • Transparantie en communicatie. Transparantie is altijd cruciaal, maar nu nog meer dan anders. Studenten zitten met veel vragen over afstandsonderwijs, en eens het over evaluatie en examens gaat, zal het aantal vragen alleen maar stijgen. Docenten en andere betrokkenen zijn gebaat bij ondersteuning over hoe ze het best communiceren.
  • Ethische en privacyaspecten van online didactiek en toetsen.
  • Hoe gelijke onderwijskansen garanderen voor kansengroepen bij toetsing op afstand.

Succes ermee! 

Herbekijk hier ons webinar over Kwaliteitsvol Evalueren van 27 april.

Met Schoolmakers begeleiden we (hoge)scholen en universiteiten op maat om hun evaluatiebeleid en -praktijk kwaliteitsvol vorm te geven en waar te maken. Bekijk hier ons aanbod. Interesse? Mail jetje@schoolmakers.be

Jetje De Groof (jetje@schoolmakers.be) en Saskia Vandeputte (saskia@schoolmakers.be)