Tasnim deed haar onderzoek bij het Civic AI Lab. Haar proefschrift, One-Sided Matching Under Strategic Reporting: Insights from Amsterdam School Choice, gaat over het verdelen van schaarse plekken wanneer mensen niet altijd eerlijk vertellen wat zij willen.
Is een school vol, dan komt de volgende voorkeur aan bod
Tijdens haar presentatie beschreef ze hoe de Amsterdamse loting werkt: leerlingen geven een voorkeurslijst op, waarna hun lotnummer bepaalt wie als eerste een plek krijgt. Is een school vol, dan komt de volgende voorkeur aan bod. Dat kan betekenen dat kinderen ver onderaan hun lijst terechtkomen.
Tasnim onderzocht een alternatief dat de gemiddelde positie van de toegewezen scholen op de voorkeurslijsten zo laag mogelijk maakt. In de vergelijking die zij presenteerde, kwamen alle leerlingen daarmee binnen hun eerste vier keuzes terecht, tegenover de eerste veertien bij loting. Maar daarmee was het probleem niet opgelost. “Met dit geavanceerdere algoritme wordt het mogelijk om te liegen over welke scholen we leuk vinden.”
Ze illustreerde dat met de fictieve leerlingen Sam en Elsa. Beiden willen naar school A en hebben school B als tweede voorkeur. Op A is nog één plek. Elsa geeft haar voorkeuren eerlijk op. Sam zet een andere, al volle school op de tweede plaats. Het algoritme plaatst hem daardoor op A, terwijl Elsa haar tweede keuze krijgt.
Dat voordeel gaat ten koste van iemand anders, benadrukte Tasnim. “Los van de voor de hand liggende morele implicaties is het oneerlijk. Sam kon naar zijn favoriete school, maar Elsa niet. Het is ook slecht voor het algoritme, omdat het de werkelijke voorkeuren van de leerlingen nooit leert kennen.”
Het is dus een strategie met een hoog risico
De strategie kan bovendien verkeerd uitpakken wanneer veel ouders haar toepassen. Dan dreigt plaatsing op een school die vooral om strategische redenen op de lijst stond. “Het is dus een strategie met een hoog risico en een hoge mogelijke opbrengst. Het hangt er echt van af wat alle anderen doen.”
Om te onderzoeken hoe ouders daarmee omgaan, bevroeg Tasnim 140 Amsterdamse ouders. Zij kregen informatie over de kansen op succes en mislukking van strategische keuzes. “Als ouders het risico van liegen begrijpen en dat goed wordt gecommuniceerd, kiest een meerderheid ervoor niet te liegen, omdat ze niet willen gokken met de toekomst van hun kind.”
Hoogleraar Eelke Heemskerk, die zelf als Amsterdamse ouder aan de enquête had meegedaan, vroeg naar een opvallende uitkomst. Ouders van kinderen in competitievere onderwijsrichtingen leken juist meer risico te vermijden, terwijl zij doorgaans beter geïnformeerd zijn. Tasnim waarschuwde voor stellige conclusies: “Hoewel we een trend zien, is die niet statistisch significant. Het was een interessante trend, maar ik kan niet uitsluiten dat dit alleen een effect van de steekproef is.”
We zouden een veel grotere studie moeten doen
Ook hoogleraar Judith Good plaatste kanttekeningen bij het ouderonderzoek. Hadden ouders de kansinformatie werkelijk begrepen, of kozen sommigen uit verwarring voor hun eerlijke voorkeur? Tasnim erkende dat laatste als mogelijkheid. Bovendien waren ouders met een hogere sociaaleconomische status oververtegenwoordigd. Een vervolgonderzoek zou meer tijd en uitgebreidere gesprekken moeten bieden. “We zouden een veel grotere studie moeten doen, ouders veel meer tijd moeten geven en kwalitatieve interviews moeten houden om echt te begrijpen wat achter die keuzes zat.”
Naast klassieke algoritmes onderzocht Tasnim AI-modellen die via vallen en opstaan leren schoolplekken te verdelen. Die kunnen volgens haar stabieler reageren wanneer meer mensen tegelijk strategisch handelen. Hoogleraar Virginia Dignum van de universiteit van Umeå vroeg hoe zulke moeilijk uitlegbare modellen zich verhouden tot transparantie en verantwoorde AI.
Een zwarte doos
Tasnim erkende dat probleem, maar wees ook op het vertrouwen in de organisatie achter het systeem. “Als je vanuit het perspectief van een ouder kijkt, is zelfs een eenvoudig systeem dat die niet begrijpt eigenlijk een zwarte doos. Toch voelen ouders zich prettiger bij deelname als ze de instelling vertrouwen die het toepast.”
Op een vraag van Roxana Rădulescu van de Universiteit Utrecht antwoordde ze dat institutioneel vertrouwen in Amsterdam volgens haar zwaarder weegt dan vertrouwen in het algoritme. Begrijpelijke communicatie over de werking en beperkingen van het systeem is daarom belangrijk.
Gevraagd naar haar advies aan Amsterdam was Tasnim duidelijk: “Ik zou de gemeente Amsterdam zeker adviseren te herzien wat ze nu doet.” Ze ziet geen reden om het huidige algoritme te verkiezen boven het systeem dat in 2017 werd gebruikt en noemde ook haar eigen alternatief. De gemeente moet daarbij uitleggen welke afwegingen zij maakt en nagaan of ouders die aanvaardbaar vinden.
Amsterdam beweert nog steeds een systeem te gebruiken dat bestand is tegen strategisch gedrag
Bij een systeem dat strategische keuzes toelaat, moeten ouders volgens Tasnim weten welke risico’s daaraan verbonden zijn. “Het probleem is dat Amsterdam nog steeds beweert een systeem te gebruiken dat bestand is tegen strategisch gedrag, en daarom geen van die waarborgen neemt.” Er is meer onderzoek nodig naar de risico’s en naar manieren om die begrijpelijk te communiceren.
Haar centrale boodschap: “Een algoritme is maar zo goed als de informatie die mensen eraan geven. Mensen geven eerlijke informatie aan een systeem dat ze vertrouwen.”
Na de verdediging kreeg Tasnim de doctorsgraad. Promotor Sennay Ghebreab prees haar wetenschappelijke kwaliteiten en maatschappelijke betrokkenheid. Ook promotor Tobias Blanke feliciteerde haar, via een videoverbinding. Copromotor Max Baak benadrukte haar doorzettingsvermogen, ook wanneer publicaties werden afgewezen: “Je bleef doorgaan. Je klaagde niet. Je werkte aan het verbeteren van je resultaten.”
