TestVision ondersteunt onder meer meerkeuzevragen, matchvragen, rangschikvragen, matrixvragen en open vragen. Je kunt vragen rond één casus groeperen en er afbeeldingen, geluid of video aan toevoegen. Open antwoorden worden door beoordelaars nagekeken. TestVision
Ik gebruik de AI Act hieronder als inhoudelijk voorbeeld. De toetsindeling is ook bruikbaar voor andere vakken.
Miller als uitgangspunt
Weet. De student herkent of benoemt begrippen en regels. Dit past bij een kennistoets.
Weet hoe. De student gebruikt kennis om een gegeven situatie te analyseren, een keuze te maken of een advies te onderbouwen. Dit past bij toepassingsvragen en veel casustoetsen.
Laat zien. De student voert een vaardigheid uit in een gesimuleerde beroepssituatie. TestVision kan de instructie, het bronmateriaal en het antwoord vastleggen. Als de vaardigheid bestaat uit analyseren, beslissen of schriftelijk adviseren, kan een digitale opdracht daarvoor geschikt zijn. Gaat het om een gesprek, handeling of samenwerking, dan moet ook die uitvoering worden geobserveerd.
Doet. De student handelt in de echte beroepspraktijk. Een toets in TestVision kan daarvan bewijs verzamelen of een verantwoordingsgesprek ondersteunen, maar een toets in een lokaal toont op zichzelf niet aan hoe iemand doorgaans in de praktijk handelt. Dit volgt uit het onderscheid tussen demonstratie en daadwerkelijk handelen in het model van Miller. NCBI Bookshelf
Daarmee zijn kennistoets, toepassingstoets en casustoets toetsvormen, terwijl Miller het niveau van het gevraagde handelen beschrijft. Een casus kan dus zowel een eenvoudige kennisvraag als een complexe adviesopdracht bevatten.
Voorbeeldvragen over de AI Act
Kennistoets: weet
Vraagvorm in TestVision: één uit meer.
Vraag: Wat vraagt artikel 4 van aanbieders en gebruiksverantwoordelijken van AI systemen?
A. Zij moeten ieder personeelslid hetzelfde verplichte certificaat laten behalen.
B. Zij moeten, naar hun beste vermogen, maatregelen nemen voor voldoende AI geletterdheid bij betrokken medewerkers, passend bij hun kennis, ervaring en gebruikscontext.
C. Zij mogen AI pas gebruiken nadat iedere medewerker programmeertalen beheerst.
D. Zij moeten alle AI systemen door medewerkers zelf laten ontwikkelen.
Antwoord: B.
Wat meet je? Herkenning van de strekking van artikel 4. De student hoeft nog geen passende maatregel te ontwerpen. AI Act Service Desk
Kennistoets: weet
Vraagvorm in TestVision: gelijke matchvraag.
Opdracht: Koppel elk begrip aan de omschrijving.
Aanbieder: ontwikkelt een AI systeem of laat het ontwikkelen en brengt het onder eigen naam op de markt of neemt het onder eigen naam in gebruik.
Gebruiksverantwoordelijke: gebruikt een AI systeem onder eigen verantwoordelijkheid, behalve bij louter persoonlijk gebruik.
Menselijk toezicht: maatregelen waardoor mensen de werking van een systeem kunnen begrijpen, volgen en waar nodig ingrijpen.
Wat meet je? Begripskennis die nodig is om later verantwoordelijkheden in een casus te kunnen bepalen. Voor een definitieve toets moeten de omschrijvingen worden afgestemd op de gebruikte versie van de wettelijke definities.
Toepassingstoets: weet hoe
Vraagvorm in TestVision: meer uit meer, gevolgd door een open vraag.
Situatie: Een hogeschool overweegt software die tentamenantwoorden analyseert en een voorgesteld cijfer geeft. De examinator ziet het voorstel voordat deze het resultaat vaststelt.
Vraag 1: Welke toepassing uit bijlage III is hier relevant?
A. Het evalueren van leerresultaten.
B. Het bepalen van toelating tot een opleiding.
C. Het genereren van algemene studieteksten.
D. Het plannen van lokalen.
Antwoord: A.
Vraag 2: Leg in maximaal 120 woorden uit waarom het feit dat een examinator het cijfer vaststelt, op zichzelf onvoldoende is om de rol van het AI systeem buiten beschouwing te laten.
Beoordelingskern: De student betrekt het beoogde gebruik van het systeem, benoemt dat de AI uitkomsten van studenten beoordeelt of een beoordeling beïnvloedt, en maakt onderscheid tussen menselijke eindverantwoordelijkheid en de classificatie van de AI toepassing. Bijlage III noemt AI systemen voor het evalueren van leerresultaten in onderwijs en beroepsopleiding. De precieze juridische kwalificatie vraagt daarnaast beoordeling van de concrete werking en eventuele uitzonderingen. AI Act Service Desk
Casustoets: weet hoe
Vraagvorm in TestVision: één deelblok met casusmateriaal, een matrixvraag en twee open vragen.
Casus: Een opleiding wil een AI systeem invoeren dat antwoorden op open vragen analyseert, een cijfer voorstelt en studenten persoonlijke feedback geeft. Een docent kan het voorstel aanpassen. De leverancier zegt: “Omdat de docent beslist, valt dit systeem niet onder de regels voor hoog risico.”
Vraag 1, matrix: Beoordeel per gegeven of het nodig is om de claim van de leverancier te onderzoeken: het beoogde doel van het systeem, de invloed van het voorgestelde cijfer op het eindresultaat, de mogelijkheid voor de docent om het voorstel te controleren en de kleur van de gebruikersomgeving.
Vraag 2, open: Welke aanvullende informatie vraag je aan de leverancier voordat je een oordeel geeft? Noem drie concrete punten en licht per punt toe waarom het ertoe doet.
Vraag 3, open: Schrijf een voorlopig advies van maximaal 200 woorden aan de opleidingsmanager. Geef aan wat al uit de casus volgt en waarover je nog geen definitieve conclusie kunt trekken.
Beoordelingskern: Een sterk antwoord onderscheidt feiten van aannames, onderzoekt de rol van het systeem bij de beoordeling van leerresultaten en formuleert een voorwaardelijk advies. De casus toetst samenhangend juridisch en professioneel redeneren. De open vragen krijgen vooraf vastgelegde beoordelingscriteria.
Vaardigheidstoets: laat zien
Vraagvorm in TestVision: open vraag met bijgevoegd dossier en een afgebakend antwoordformat.
Opdracht: Je bent adviseur van een opleiding. Je krijgt een productbeschrijving, een voorbeeld van automatisch gegenereerde feedback, de voorgestelde werkwijze voor docenten en een overzicht van gegevens die het systeem verwerkt. Stel binnen 45 minuten een beslisnotitie van maximaal één pagina op voor de opleidingsmanager. Beschrijf het beoogde gebruik, identificeer welke informatie ontbreekt, adviseer welke stappen vóór ingebruikname nodig zijn en onderbouw je advies met de relevante bepalingen uit de AI Act.
Beoordeling: Gebruik criteria voor de juistheid van de analyse, het wegen van onzekerheid, de uitvoerbaarheid van de stappen en de helderheid van de notitie.
Dit is laat zien als het leerresultaat luidt dat de student zelfstandig een bruikbare beslisnotitie opstelt onder realistische voorwaarden. Luidt het leerresultaat dat de student een manager mondeling adviseert en op tegenwerpingen reageert, dan hoort bij deze opdracht ook een geobserveerd gesprek. TestVision kan dan het dossier en de schriftelijke voorbereiding verzorgen.
Wat betekent dit voor het toetsontwerp?
Een bruikbare opbouw is: enkele kennisvragen voor noodzakelijke begrippen, toepassingsvragen voor afzonderlijke beslissingen en een grotere casus voor de samenhang. Als het beoogde leerresultaat een beroepsproduct of handeling vraagt, voeg je een opdracht toe waarin de student die prestatie daadwerkelijk levert.
Begin daarom bij de prestatie indicator: wat moet de student kunnen doen en welke kwaliteit moet dat handelen hebben? Kies daarna pas de vraagvorm in TestVision. Afname onder toezicht helpt om zelfstandig werk vast te stellen. De casus, opdracht en beoordelingscriteria bepalen of je ook het bedoelde niveau van Miller toetst.
Bronnen: TestVision, vraagvormen en afname; TestVision, deelblokken en beoordeling; Europese Commissie, artikel 4 AI Act; Europese Commissie, bijlage III AI Act.
