Het instrument heet AIEDAI, een afkorting van AI in Education Alignment Instrument. Het bevat dertien criteria waarmee mensen kunnen beoordelen of AI-uitvoer niet alleen technisch deugt, maar ook pedagogisch bruikbaar en ethisch verantwoord is. Elf criteria zijn ondergebracht in vier categorieën: helderheid, haalbaarheid, pedagogische waarde en leerlinggerichtheid. Privacy en ethiek en aansluiting bij leertheorieën worden afzonderlijk beoordeeld.
Het onderzoek is uitgevoerd door Hesham Ahmed, Sonsoles López-Pernas, Markku Tukiainen en Mohammed Saqr van de University of Eastern Finland en Leonie Vogelsmeier van Tilburg University. Het artikel is gepubliceerd in Technology, Knowledge and Learning.
Menselijke beoordeling ontbreekt vaak
De onderzoekers richten zich op wat in de wetenschappelijke literatuur AI alignment wordt genoemd: de mate waarin het gedrag en de uitkomsten van een AI-systeem overeenkomen met menselijke waarden, doelen en verwachtingen. In het onderwijs gaat het daarbij niet alleen om de juistheid van een antwoord, maar ook om privacy, gelijke kansen, pedagogische kwaliteit en de behoeften van leerlingen.
Bestaande evaluaties steunen volgens de onderzoekers veelal op geautomatiseerde benchmarks en datasets. Daarmee kan bijvoorbeeld worden gemeten hoe nauwkeurig een taalmodel een taak uitvoert, maar niet vanzelfsprekend of een advies ook bruikbaar is in een concrete onderwijsomgeving.
Dat is volgens de auteurs relevant nu AI steeds vaker wordt gebruikt voor feedback, gepersonaliseerde begeleiding, adaptieve leersystemen en het voorspellen van studiesucces. Een advies kan technisch correct zijn, maar onvoldoende rekening houden met verschillen tussen leerlingen of met de pedagogische doelen van het onderwijs. AIEDAI moet docenten, bestuurders, onderzoekers en ontwikkelaars helpen zulke aspecten zelf te beoordelen.
Dertien criteria uit 46 publicaties
Voor de ontwikkeling van het instrument doorzochten de onderzoekers Web of Science, Scopus, ACM Digital Library en IEEE Xplore. Dat leverde 409 publicaties op. Na selectie bleven 21 artikelen over. Via aanvullende zoekacties en het nalopen van verwijzingen kwamen daar nog 25 documenten bij, waardoor de onderzoekers in totaal 46 publicaties gebruikten.
Zij baseerden zich onder meer op vier bestaande raamwerken voor verantwoorde en betrouwbare AI. Omdat daarin relatief weinig aandacht uitging naar kenmerken die specifiek voor het onderwijs van belang zijn, voegden ze onderzoek naar AI in onderwijsomgevingen toe.
Uit de literatuur destilleerden zij dertien criteria. Voor ieder criterium formuleerden ze een beoordelingsvraag en een antwoordmogelijkheid. Veertien onderzoekers gaven tijdens de ontwikkeling feedback op de vragen. Negentien bachelorstudenten beoordeelden vervolgens of het instrument begrijpelijk was.
Van nauwkeurigheid tot inclusie
De categorie helderheid bestaat uit nauwkeurigheid, presentatie en verantwoording. Daarbij wordt beoordeeld of een advies aansluit bij de verstrekte informatie, overzichtelijk is opgebouwd en uitlegt waarop de aanbevelingen zijn gebaseerd. Haalbaarheid omvat nut en samenhang. Een advies moet bruikbaar zijn voor het probleem waarop het betrekking heeft en mag zichzelf niet tegenspreken.
Onder pedagogische waarde vallen uitvoerbaarheid en het stimuleren van hogere denkvaardigheden. De beoordelaar kijkt of een advies praktisch toepasbaar is en leerlingen aanzet tot analyseren, kritisch denken en probleemoplossing in plaats van alleen memoriseren.
De categorie leerlinggerichtheid omvat aandacht voor de behoeften van leerlingen, diversiteit, gelijkwaardigheid en inclusie. Het gaat om verschillen in achtergrond, mogelijke achterstanden, toegang tot voorzieningen en de mogelijkheid voor alle leerlingen om volwaardig deel te nemen.
Privacy en ethiek worden met een ja-neevraag beoordeeld. De vraag is of een advies het gebruik van beschermde gegevens of onethisch gedrag suggereert. Bij het laatste criterium kan worden aangegeven op welke leertheorieën een aanbeveling is gebaseerd, zoals constructivisme, behaviorisme of zelfregulerend leren.
ChatGPT-4o formuleerde 408 adviezen
Voor een eerste praktijktoets verzamelden de onderzoekers 136 artikelen over voorspellende leeranalyse, bijvoorbeeld onderzoek naar studieresultaten, uitval en studiesucces. De bevindingen uit ieder artikel werden verwerkt in een gestandaardiseerde prompt voor ChatGPT-4o.
Het taalmodel formuleerde vervolgens aanbevelingen voor leerlingen of studenten, docenten en onderwijsbestuurders. Dat leverde in totaal 408 adviezen op. Twee onderzoekers beoordeelden onafhankelijk van elkaar 15 procent van de adviezen. Bij de elf criteria op een vijfpuntsschaal was de onderlinge overeenstemming sterk. Bij privacy en ethiek was die vrijwel volledig. De beoordeling van de aansluiting bij leertheorieën liep sterker uiteen. Na gezamenlijk overleg beoordeelde één onderzoeker alle 408 adviezen.
Uitleg scoort hoog, diversiteit laag
De adviezen scoorden het hoogst op verantwoording, met gemiddeld 3,949 op een schaal van één tot vijf. Daarna volgden presentatie met 3,772, nauwkeurigheid met 3,681 en samenhang met 3,642. De bruikbaarheid kwam uit op gemiddeld 3,017 en leerlinggerichtheid op 2,973. Lager scoorden uitvoerbaarheid met 2,559, het stimuleren van hogere denkvaardigheden met 2,547 en gelijkwaardigheid met 2,377.
De laagste gemiddelden werden gevonden bij diversiteit en inclusie. Diversiteit scoorde 1,336 en inclusie 1,635. De adviezen hielden volgens de beoordeling dus maar beperkt rekening met uiteenlopende achtergronden en perspectieven en met voorwaarden waaronder alle leerlingen kunnen deelnemen.
Deze uitkomsten gelden alleen voor de 408 adviezen die door één versie van ChatGPT-4o zijn gegenereerd. Het onderzoek vergelijkt geen verschillende taalmodellen en laat niet zien of andere AI-systemen dezelfde sterke en zwakke punten hebben.
Vier onderliggende categorieën
Met een verkennende factoranalyse onderzochten de auteurs welke criteria in de beoordelingen met elkaar samenhingen. Nauwkeurigheid, verantwoording en presentatie vormden samen helderheid. Nut en samenhang vielen onder haalbaarheid. Uitvoerbaarheid en hogere denkvaardigheden vormden pedagogische waarde. Leerlinggerichtheid, diversiteit, gelijkwaardigheid en inclusie kwamen samen in de vierde categorie.
Leerlinggerichtheid hing ook enigszins samen met pedagogische waarde, maar werd vanwege de nadruk op individuele behoeften en personalisering bij de leerlinggerichte categorie geplaatst. Privacy en ethiek en aansluiting bij leertheorieën werden niet in de factoranalyse opgenomen, omdat deze criteria niet met dezelfde vijfpuntsschaal worden gemeten.
Nog geen definitief gevalideerde meetlat
Ontwikkelaars van onderwijstechnologie kunnen AIEDAI gebruiken om AI-toepassingen voor invoering te beoordelen. Docenten kunnen er door AI samengesteld lesmateriaal of feedback mee toetsen. Schoolleiders en bestuurders kunnen ermee nagaan of toepassingen aansluiten bij onderwijsstandaarden.
De onderzoekers benadrukken dat het instrument nog verder moet worden onderzocht. De literatuurzoektocht was sterk afhankelijk van het woord alignment, waardoor relevante publicaties met andere termen kunnen zijn gemist. Ook bleef de praktijktoets beperkt tot ChatGPT-4o. De gevonden indeling in vier categorieën kan mede samenhangen met de vaste manier waarop dat model zijn aanbevelingen, uitleg en onderbouwing presenteerde. Daarnaast werd de volledige set adviezen uiteindelijk door één onderzoeker beoordeeld.
Vervolgonderzoek moet daarom meerdere AI-systemen, andere soorten onderwijsuitvoer en meer beoordelaars omvatten. Ook moet worden onderzocht of de vier categorieën in nieuwe gegevens opnieuw naar voren komen. Volgens de auteurs blijft menselijke beoordeling nodig, omdat automatische benchmarks niet alle waarden, omstandigheden en pedagogische doelen van het onderwijs kunnen omvatten.
Wat betekent dit in de praktijk?
Voor docenten biedt AIEDAI een reeks vragen waarmee zij door AI gegenereerd lesmateriaal, feedback of onderwijsadvies systematischer kunnen beoordelen. Daarbij gaat het niet alleen om feitelijke juistheid en een heldere presentatie, maar ook om uitvoerbaarheid, het stimuleren van denkvaardigheden en aandacht voor verschillen tussen leerlingen.
Voor schoolleiders en onderwijsbestuurders kan het instrument worden gebruikt om na te gaan of een AI-toepassing aansluit bij onderwijsstandaarden, ethische uitgangspunten en de behoeften van leerlingen. De onderzoekers benadrukken wel dat het instrument nog in andere onderwijscontexten en met andere AI-systemen moet worden onderzocht.
Voor ontwikkelaars van onderwijstechnologie maken de lage scores op diversiteit en inclusie duidelijk welke onderdelen bij de geteste adviezen het minst sterk naar voren kwamen. De resultaten gelden uitsluitend voor de onderzochte aanbevelingen van ChatGPT-4o, maar laten zien hoe het instrument zwakke en sterke kanten van AI-uitvoer zichtbaar kan maken.
Bron: Ahmed, H., López-Pernas, S., Vogelsmeier, L. V. D. E., Tukiainen, M. & Saqr, M. (2026). An Instrument for Human-Based Evaluation of GenAI Educational Alignment, Technology, Knowledge and Learning. DOI: https://doi.org/10.1007/s10758-026-10005-8
