Geen blauwdruk voor een ethische commissie, wel een menukaart

Als onderzoeker en promovenda aan de TU Delft en Digicampus onderzoekt Sattlegger de morele verantwoordelijkheid in de ontwikkeling van AI in de publieke sector. Het afgelopen jaar heeft ze bij veel overheidsorganisaties in de ethische keuken mogen kijken. 

Trend

“De laatste 2-3 jaar hebben steeds meer overheidsorganisaties een ethische commissie opgericht. Dat kan andere organisaties het gevoel geven dat ze ook een commissie nodig hebben. Het is een trend. Maar ze vergeten misschien te kijken wat hun behoefte en doel is. Soms lijkt de motivatie een beetje om naar de buitenwereld toe een soort accountability af te leggen: kijk, wij zijn verantwoord aan de slag. Als je data-ethiek vervolgens niet echt borgt en laat leven in je organisatie loop je het risico op ‘ethics washing’.”  

Externe bril

Of een ethische commissie een goed idee is, hangt af van wat je waarom wilt. Wat wil je bereiken? Wat heb je nodig? Wat wil je eruit halen? “Als organisatie moet je een ethische commissie qua proces én samenstelling echt inrichten op het doel. Want het maakt uit wie je inzet, welke expertise je nodig hebt en wat de achtergrond en kennisniveau van de leden is. Er is geen blauwdruk.”  

Veel organisaties hebben moeite om technologie, ethiek en governance te verweven. Er ontbreekt vaak kennis en ervaring over hoe je het gebruik van nieuwe technologie verantwoord inricht. Het hoofddoel van een ethische commissie zou volgens Sattlegger externe reflectie over techniek, toepassing en ethiek moeten zijn. Van experts, zoals wetenschappers met een achtergrond in data ethiek, bestuurswetenschappen of computer science, of inwoners die kennis hebben vanuit burgerperspectief. “Het gaat om de externe bril. Om een groep mensen mee te laten kijken, praten, reflecteren, samen leren. Wat betekent het voorgenomen datagebruik voor de maatschappij? Hoe kun je er verantwoord mee omgaan? En: wat betekent ethisch verantwoord gebruik van technologie eigenlijk?” 

Governance

Ethische commissies kunnen advies over de data-ethiek governance geven of zelfs (in sommige gevallen) onderdeel worden van de interne governance. Dan hebben ze een toetsende of toezichthoudende rol. Je wilt impact op de organisatie én balans tussen inbedding in de organisatie en kritische onafhankelijkheid. “Vooral bij uitvoeringsorganisaties zie je commissies die meer zijn geïntegreerd in de governance-structuur. Gemeentes, bijvoorbeeld, hebben er minder behoefte aan. Zij hebben eerder een commissie met onafhankelijke externe experts; meer een externe en onafhankelijke adviesraad. Die dient een ander doel. Dat moet je wel borgen binnen de organisatie. Bijvoorbeeld door de koppeling in de vorm van een ondersteuning van een expertteam binnen de organisatie.”  

Burgers betrekken?

Of je wel of geen burgers in de commissie wilt betrekken, hangt af van je behoefte. Als je behoefte een reflectie met betrokkenen is, bijvoorbeeld als je wilt weten hoe burgers cameragebruik door boa’s ervaren, dan hebben burgers grote meerwaarde. “Sommige commissies combineren het een beetje: mensen met bepaalde kennis uit de regio. En een ethische commissie met experts kan ook adviseren om een bepaald vraagstuk aan een burgerpanel voor te leggen. Om het burgerperspectief mee te nemen. Dat kan dan een apart participatietraject worden. Er zijn niet zoveel vaste commissies met burgers, omdat het best moeilijk en tijdrovend voor burgers is. Ik weet dat ze die in Hilversum en Amersfoort wel hebben. Of het werkt, hangt erg af van bepaalde individuen die een commissie ‘trekken’.”  

Transparantie en accountability

Onafhankelijkheid hangt samen met de samenstelling van de commissie. Maar heeft vooral te maken met transparantie: openbaar maken wat je aan het doen bent: “Als je de buitenwereld/burgers goed kunt uitleggen wat je aan het doen bent, is dat goede manier om onafhankelijkheid te borgen.”  

Ethische commissies bevorderen openheid en samenwerking. Meer nog dan of het publiek geïnteresseerd is in de geschreven rapporten van de commissie, het openstellen en transparant zijn over wat er binnen de organisaties gebeurt met datatechnologieën, creëert ook bewustwording. “Dat zie ik ook vaak als ik leden van de commissie interview, zeker als het hoogleraren zijn: het gaat ook om hun reputatie.” 

Leerproces

Het doel voor een ethische commissie bepalen, kost tijd. “Commissies dragen naar verwachting bij aan een leerproces, waardoor de behoeften van de organisatie en doelen van een commissie veranderen. Het is belangrijk om zowel de werkwijze van de commissie als die van de organisatie te evalueren en te reflecteren. Dan pas je de inrichting daarop aan, breng je de commissie dichter bij de organisatie, of maak je hem juist onafhankelijker. Dat is een leerproces,” denkt Sattlegger. “Commissieleden worden meestal voor een bepaalde periode benoemd. Het is handig om na deze periode te heroverwegen of een andere kijk nodig is.” 

Casuïstisch of thematisch?

Wat organisaties voorleggen aan hun ethische commissie verschilt: “Bij uitvoeringsorganisaties is de commissie vaak onderdeel van de governance-structuur. Dat zou kunnen betekenen dat de commissie bijvoorbeeld naar een ingevulde impact assessment kijkt. Om te adviseren en te checken of de proces goed is gevolgd. Vergelijkbaar met de functie van de Functionaris voor de Gegevensbescherming (FG). Andere commissies kijken meer themagericht, bijvoorbeeld: hoe gaan we om met ChatGPT?”

In het algemeen vindt Sattlegger een concrete casus wel een goed startpunt: “Het is nuttig voor de externe commissieleden en de organisatie om een specifiek geval te bespreken dat wordt ontwikkeld. Dit is een goed startpunt om de discussie over waarden concreet te maken en ook te reflecteren op bredere governance-vragen: hoe gaan we er binnen onze organisatie mee om, wie is waarvoor verantwoordelijk, hoe richten we processen in en wat zijn aandachtspunten?”  

Hoe je geschikte casussen kiest, verschilt per organisatie: “Sommige willen variatie: de ene keer een casus met veel impact, de andere keer een exemplarische casus. Andere organisaties gebruiken een ethische commissie als een soort escaleermogelijkheid; als je zelf niet verder kunt, leg je de casus met specifieke vragen voor aan de commissie.” 

Een praktijkvoorbeeld. Vaak worden data-innovaties, zoals voorspellende analyses voor proactieve openbare diensten, ontwikkeld met goede bedoelingen. Het identificeren van mensen die in de problemen kunnen komen met schulden, of het leveren van extra diensten aan kwetsbare groepen. Maar dat kan ook negatieve gevolgen hebben voor deze groepen. Als ik bijvoorbeeld extra diensten verleen aan deze individuen, kunnen ze ook meer kans hebben om sancties te krijgen als ze bijvoorbeeld niet komen opdagen. Dus ook al was het goed bedoeld, het resultaat kan zijn dat de kans op sancties toeneemt. Dan is het goed om een casus voor te leggen aan een externe commissie om met de blik van buiten tunnelvisie te voorkomen. In het algemeen kan het goed zijn om mensen die mogelijk behoren tot een kwetsbare doelgroep te betrekken in een ethisch gesprek voordat je technologie ontwikkelt. 

Expertteam

Of een ethische commissie slaagt, hangt samen met de data-ethiek volwassenheid van de organisatie: “Een ethische commissie móet een partner hebben binnen de organisatie. Eén persoon met de opdracht data-ethiek is te weinig. Dus als je een externe commissie opricht, is het belangrijk dat er binnen de organisatie een expertteam is, een groep mensen die zich binnen de organisatie bezighoudt met data-ethiek. Die bij de ethische commissie duidelijk kan aangeven waaraan behoefte is, waarom extern advies nodig is. Een expertteam kan casussen filteren/selecteren en inbrengen, de commissie voorzien van de juiste informatie, de uitkomst borgen én weer terugkoppelen aan de commissie. En: de interne organisatie moet in Sattleggers optiek meegroeien met data-ethiek.  

Zelf is Sattlegger als promovenda lid van het expertteam Data Ethiek binnen UWV. Het externe team ondersteunt de semi-onafhankelijke commissie met interne leden en 2 externe voorzitters, wetenschappers uit ethics of technology en computerscience. Terwijl de commissie op de hoogte wordt gehouden van alle gevallen, trekt het expertteam aan de bel als er behoefte is aan een bredere reflectie. Het expertteam speelt een belangrijke rol om de voorbereiding en feedback tussen de casushouder en de commissie te waarborgen. “Ik ervaar dat deze opzet goed werkt om expertise bij elkaar te brengen.”  

Feedbackloop

De vierde succesfactor die ze noemt is: de ‘feedbackloop’ goed borgen: “Een commissie moet teruggekoppeld krijgen wat er met hun advies of aanbeveling gebeurt. Het gaat erom dat ze weet of de organisatie er iets mee kan en wil doen. Die feedbackloop moet je borgen, ook op bestuursniveau. Het moet duidelijk zijn hoe men de datatoepassing wil ontwikkelen of inrichten. Het bestuur moet betrokken zijn in de feedbacklooploop. En: er moet bestuurlijk commitment zijn."

Data-ethiek in de praktijk

Sinds Sattlegger haar onderzoek startte, is haar visie op de rol van ethische commissies genuanceerd: “Wat mij opvalt, is dat er op heel veel plekken en vlakken dingen gebeuren op gebied van data-ethiek. Ook waar geen ethische commissie is. Veel mensen zijn zich bewust van de mogelijke impact van datatoepassingen op burgers. En van de mogelijkheden. Een ethische commissie kan dat ondersteunen: door kennis te delen, handvatten te bieden en extern te reflecteren: zijn we met de juiste dingen op de juiste manier bezig. Mensen zijn ver in hun bewustwording, maar ik zie ook veel onzekerheden, bijvoorbeeld omdat nieuwe technologie uitdagingen met zich meebrengt. En in alle interviews die ik afnam, werd de toeslagenaffaire genoemd. Als angstbeeld.”  

Als grootste risico op het gebied van data-ethiek ziet Sattlegger wat zij noemt ‘risk-paralysis’. Dat een organisatie zo overweldigd of geïntimideerd wordt door potentiële risico's, dat het besluitvormingsproces verlamd raakt. Dat organisaties assesments en goedkeuringen willen en bang zijn om data te delen, omdat ze alle risico’s willen vermijden. Maar het gaat er volgens haar om dat je datatoepassingen in de ontwerpfase goed aanpakt. Dat je goed aan de slag gaat. "Ethische commissies zijn een goede manier om met die angst om te gaan, omdat experts op gebied van data-ethiek niet alleen de risico’s zien, maar ook de kansen en mogelijkheden van omgaan met data.”