Discrimineert een algoritme?

Bart Schellekens is specialistisch juridisch adviseur bij de Adviesfunctie Verantwoord Datagebruik van de IBDS. Hij signaleert het vraagstuk bij de ene na de andere organisatie. Hoe maak je onbedoelde bias inzichtelijk? Bijvoorbeeld bij zelflerende systemen die historische patronen meenemen. Of variabelen die op het eerste gezicht neutraal lijken, maar in de praktijk indirect iets zeggen over bijvoorbeeld een migratieachtergrond (een zogeheten proxy). "Uitvoeringsorganisaties en grote gemeenten denken het tot nu toe elk voor zichzelf uit," zegt hij. "Terwijl zij waarschijnlijk allemaal tegen hetzelfde probleem aanlopen." 

Waarom toetsing ingewikkeld is

Algoritmes kunnen consistent zijn waar mensen dat niet altijd zijn. Maar ze leren van historische data. En als die data al scheef zitten, leert het algoritme die scheefheid mee. Dat leidt tot indirect onderscheid. Het algoritme gebruikt zelf geen gevoelige kenmerken zoals etniciteit of geslacht. Toch komen bepaalde groepen vaker in de selectie terecht. Niet omdat iemand dat heeft bedoeld, maar omdat het patroon al in de data zat.

“Als een algoritme bijvoorbeeld gebruik maakt van postcodegebieden, heb je best een kans dat je bepaalde groepen oververtegenwoordigt,” zegt Schellekens. “Een postcode is een proxy. Die kan indirect iets zeggen over bijvoorbeeld een migratieachtergrond.”

Volgens Schellekens lopen veel organisaties tegen vergelijkbare vragen aan. Hoe maak je mogelijke bias inzichtelijk, zonder onzorgvuldig om te gaan met gevoelige persoonsgegevens? Precies daar ziet de Adviesfunctie Verantwoord Datagebruik een gezamenlijke opgave voor overheden.

De controle op de uitwonendenbeurs bij DUO maakte de gevolgen pijnlijk zichtbaar. Studenten met een niet-Europese migratieachtergrond kwamen twee keer zo vaak voor in de voorselectie van het algoritme. Een voorbeeld van vooringenomenheid in de data is dat vaker gecontroleerd werd bij studenten die dicht bij hun ouders woonden, terwijl kinderen van Turks-Nederlandse en Marokkaans-Nederlandse ouders gemiddeld dichter bij hun ouders wonen dan kinderen zonder migratieachtergrond. Daardoor hadden zij een grotere kans op controle.

Niet ieder verschil in uitkomsten betekent dat er automatisch sprake is van discriminatie. Juist daarom is het zo belangrijk om mogelijk onderscheid zichtbaar te maken. Zodat men kan beoordelen of dat onderscheid uitlegbaar en rechtmatig is.

Twee waarden vragen om balans

Biastoetsing is niet alleen een juridisch vraagstuk, zegt Schellekens. Het is ook een ethische afweging. Tijdens een datadialoog van de IBDS in november 2025 bespraken overheden, maatschappelijke organisaties en een burgerpanel hoever je kunt gaan in het gebruik van gevoelige persoonsgegevens om algoritmes te toetsen op discriminatie. Die verschillende perspectieven zijn nodig, volgens Schellekens. “Juist door die gesprekken krijg je scherper in beeld wat wel en niet verantwoord is.”

Tegelijk is de opgave helder: als overheden algoritmes gebruiken, moeten ze kunnen aantonen dat die niet discrimineren. Daarvoor heb je een verantwoorde inzet van data nodig. Dat is precies het doel van deze aanpak.

Andere aanpak: samen optrekken vanaf het begin

De aanpak rond biastoetsing wijkt af van de gebruikelijke werkwijze. Waar organisaties normaal met een concrete vraag aankloppen bij de Adviesfunctie, neemt de Adviesfunctie nu zelf het initiatief. Schellekens: “We zijn actief naar organisaties toegegaan met de vraag: willen jullie als use case-eigenaar meedoen?”

Die benadering levert waardevolle gesprekken op. Verschillende overheidsorganisaties denken mee over de aanpak en de randvoorwaarden. Dat is ook nodig, want het onderwerp vraagt om zorgvuldigheid. Biastoetsing raakt aan gevoelige vragen over algoritmes en discriminatie. Juist daarom is het belangrijk om dit gezamenlijk en gecontroleerd op te pakken. “Als je algoritmes gebruikt, moet je ook kunnen laten zien dat ze niet onbedoeld discrimineren,” aldus Schellekens. “Dan kun je dit onderwerp niet vermijden, maar moet je het juist goed organiseren.”

Van experiment naar uitvoerbare aanpak

Het Centraal Planbureau (CPB) ontwikkelde de Selectiviteitsscan, een methode waarmee organisaties hun algoritme kunnen toetsen op indirect onderscheid, zonder zelf toegang te krijgen tot gevoelige persoonsgegevens. Schellekens is positief over de methode, maar plaatst ook een kanttekening. “Technisch is er al veel mogelijk. Tegelijk vraagt de stap naar opschaling en uniforme toepassing in de praktijk nog om verdere uitwerking.”

Het gaat daarbij niet alleen om techniek. Ook organisatorische en juridische randvoorwaarden spelen een rol. Denk aan schaalbaarheid, duidelijke grondslagen voor structureel gebruik en de vraag hoe je toetsing zorgvuldig organiseert, met heldere afspraken over data, rollen en verantwoordelijkheden.

De oplossingsrichting is volgens Schellekens helder: dit is geen vraagstuk dat organisaties afzonderlijk moeten oplossen. “In het kader van overheidsbrede transparantie en kwaliteitsborging wil je dit onderwerp gezamenlijk aanpakken en heldere afspraken maken over rollen en verantwoordelijkheden.”

Data bij de bron laten, toetsing zorgvuldig organiseren en werken met een duidelijke rolverdeling zijn daarbij belangrijke uitgangspunten.

Interbestuurlijke aanpak

Volgens Schellekens is een interbestuurlijke aanpak cruciaal. Veel organisaties lopen tegen vergelijkbare vragen aan. Door kennis, expertise en praktijkervaring te combineren, kunnen overheden sneller tot een zorgvuldige aanpak komen.