Discrimineert een algoritme?
De paradox van biastoetsing: om mogelijke discriminatie inzichtelijk te maken moet je onderscheid maken
Een algoritme maakt keuzes. Wie wordt gecontroleerd? Wie krijgt extra begeleiding? Wie komt in aanmerking voor een uitkering? De vraag is: doet het algoritme dat eerlijk? Of raakt het bepaalde groepen vaker dan andere? Om dat te meten, moet je onderscheid maken tussen groepen. Etniciteit, geslacht, herkomst. Maar de AVG stelt strenge regels aan het gebruik van dergelijke gevoelige gegevens. En dus worstelen overheidsorganisaties met het inzichtelijk maken van (onrechtvaardig) onderscheid.
Bart Schellekens is specialistisch juridisch adviseur bij de Adviesfunctie Verantwoord Datagebruik van de IBDS. Hij signaleert het vraagstuk bij organisatie na organisatie. Hoe maak je onbedoelde bias inzichtelijk? Bijvoorbeeld bij zelflerende systemen die historische patronen meenemen. Of variabelen die op het eerste gezicht neutraal lijken, maar een proxy blijken voor een migratieachtergrond. "Uitvoeringsorganisaties en grote gemeenten denken het tot nu toe elk voor zichzelf uit," zegt hij. "Terwijl zij waarschijnlijk allemaal tegen hetzelfde probleem aanlopen."
Wanneer wordt het een probleem?
Algoritmes kunnen consistent zijn waar mensen dat niet altijd zijn. Maar ze leren van historische data. En als die data al scheef zitten, leert het algoritme die scheefheid mee. Dat leidt tot indirect onderscheid. Het algoritme gebruikt zelf geen gevoelige kenmerken zoals etniciteit of geslacht. Toch komen bepaalde groepen vaker in de selectie terecht. Niet omdat iemand dat heeft bedoeld. Maar omdat het patroon er al in zat.
"Als een algoritme bijvoorbeeld gebruik maakt van postcodegebieden, heb je best een kans dat je bepaalde groepen oververtegenwoordigt," zegt Schellekens. "Een postcode is een proxy. Die geeft mogelijk een aanwijzing voor een migratieachtergrond."
Beeld: © Bart Schellekens / Bart Schellekens
De controle op de uitwonendenbeurs bij DUO maakte de gevolgen pijnlijk zichtbaar. Studenten met een niet-Europese migratieachtergrond kwamen twee keer zo vaak voor in de voorselectie van het algoritme. Een voorbeeld van vooringenomenheid in de data is dat vaker gecontroleerd werd bij studenten die dicht bij hun ouders woonden, terwijl kinderen van Turks-Nederlandse en Marokkaans-Nederlandse ouders gemiddeld dichter bij hun ouders wonen dan kinderen zonder migratieachtergrond. Daardoor hadden zij een grotere kans op controle.
Soms is onderscheid gerechtvaardigd. Schellekens geeft een voorbeeld. "Bij de selecties in het kader van erfbelasting kan bijvoorbeeld een rode vlag naar boven komen: leeftijdsdiscriminatie. Maar dat is niet zo gek. Mensen die ouder zijn, gaan nu eenmaal vaker dood." Niet elk onderscheid is dus discriminatie: “Soms kun je het rechtvaardigen. Vaak niet. Dat is precies waar je op wilt toetsen. Dat begint met het inzichtelijk maken."
Twee waarden vragen om balans
Biastoetsing is niet alleen een juridisch vraagstuk, zegt Schellekens. Het is ook een ethische afweging. Tijdens een datadialoog van de IBDS in november 2025 bespraken overheden, maatschappelijke organisaties en een burgerpanel hoever je kunt gaan in het gebruik van gevoelige persoonsgegevens om algoritmes te toetsen op discriminatie. Die verschillende perspectieven zijn nodig, volgens Schellekens. “Juist door die gesprekken krijg je scherper in beeld wat wel en niet verantwoord is.”
Tegelijk is de opgave helder: als overheden algoritmes gebruiken, moeten ze kunnen aantonen dat die niet discrimineren. Daarvoor heb je een zorgvuldige manier van toetsen nodig. Dat is precies waar deze aanpak op inzet.
Wat de IBDS doet
De IBDS helpt overheidsorganisaties bij dit soort vraagstukken met de Adviesfunctie Verantwoord Datagebruik. Niet door kant-en-klare antwoorden te geven, maar door juridische, ethische, technische en organisatorische vragen tegelijk op tafel te leggen.
Schellekens noemt vier dingen die de Adviesfunctie toevoegt:
1. Expertise, ook van buiten.
2. Het faciliteren van het interbestuurlijke gesprek.
3. Externe publicatie van adviezen.
4. Een mogelijkheid tot escalatie naar de Centrale Commissie Gegevensgebruik (CCG), voor als er politiek-bestuurlijke doorbraken nodig zijn.
De interbestuurlijke aanpak is cruciaal. "Allerlei overheden lopen waarschijnlijk tegen hetzelfde probleem aan," zegt Schellekens. "Als je die knappe koppen bij elkaar zet, heeft de één misschien het ene puzzelstukje en de ander het andere."
Andere aanpak: samen optrekken vanaf het begin
De aanpak rond biastoetsing wijkt af van de gebruikelijke werkwijze. Waar organisaties normaal met een concrete vraag aankloppen bij de Adviesfunctie, neemt de Adviesfunctie nu zelf het initiatief. Schellekens: “We zijn actief naar organisaties toegegaan met de vraag: willen jullie als use case-eigenaar meedoen?”
Die benadering levert waardevolle gesprekken op. Verschillende overheidsorganisaties denken mee over de aanpak en de randvoorwaarden. Dat is ook nodig, want het onderwerp vraagt om zorgvuldigheid. Biastoetsing raakt aan gevoelige vragen over algoritmes en discriminatie. Juist daarom is het belangrijk om dit gezamenlijk en gecontroleerd op te pakken. “Als je algoritmes gebruikt, moet je ook kunnen laten zien dat ze niet onbedoeld discrimineren,” aldus Schellekens. “Dan kun je dit onderwerp niet vermijden, maar moet je het juist goed organiseren.”
Van experiment naar uitvoerbare aanpak
Het Centraal Planbureau (CPB) ontwikkelde de Selectiviteitsscan, een methode waarmee organisaties hun algoritme kunnen toetsen op indirect onderscheid, zonder zelf toegang te krijgen tot gevoelige persoonsgegevens. Schellekens is positief over de methode, maar plaatst ook een kanttekening. “Technisch is er al veel mogelijk. Tegelijk vraagt de stap naar opschaling en uniforme toepassing in de praktijk nog om verdere uitwerking.”
Het gaat daarbij niet alleen om techniek. Ook organisatorische en juridische randvoorwaarden spelen een rol. Denk aan schaalbaarheid, duidelijke grondslagen voor structureel gebruik en de vraag hoe je toetsing zorgvuldig organiseert, met heldere afspraken over data, rollen en verantwoordelijkheden.
De oplossingsrichting is volgens Schellekens helder: dit is geen vraagstuk dat organisaties afzonderlijk moeten oplossen. “In het kader van overheidsbrede transparantie en kwaliteitsborging wil je dit onderwerp gezamenlijk aanpakken en heldere afspraken maken over rollen en verantwoordelijkheden.” Data bij de bron laten, toetsing zorgvuldig organiseren en werken met een duidelijke rolverdeling zijn daarbij belangrijke uitgangspunten. “Dat past precies bij de manier waarop we binnen de IBDS samenwerken.”
Statistiek als tegengif
Algoritmes worden vaak gezien als het probleem. Zijn ze ook de oplossing? Schellekens denkt even na. “Wat wij doen is met data en statistiek controleren of er iets mis is met een ander algoritme. Je gebruikt dus statistiek om onrechtvaardige statistiek te bestrijden.” Het gaat daarbij niet alleen om regels naleven. Het gaat ook om vertrouwen. Organisaties die inzicht willen krijgen in de uitkomsten van hun algoritmes en bereid zijn daarop te handelen, bouwen stap voor stap aan dat vertrouwen.
Meewerken aan biastoetsing in de praktijk? Meld je casus aan!
Wil je als organisatie bijdragen aan een zorgvuldige en verantwoorde aanpak van biastoetsing van algoritmes? De Adviesfunctie Verantwoord Datagebruik komt graag in contact met organisaties die hierin samen willen optrekken. Meld je interesse via teamIBDS@ictu.nl.