Handreiking non-discriminatie by design
OntwikkelenImplementatieProjectleiderOntwikkelaarBias en non discriminatieFundamentele rechten
Direct naar de Handreiking non-discriminatie by design
Hulpmiddel
Deze handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief. De handreiking is een praktisch toepasbaar ontwerpkader dat ontwikkelaars helpt om al in de ontwikkelfase van een AI-systeem discriminerende patronen zoveel mogelijk te identificeren, te voorkomen en te bestrijden.
Er zijn 4 uitgangspunten die leidend zijn in de handreiking:
- Diversiteit
- Context
- Controleerbaarheid
- Evaluatie.
Relevantie
Stuk over relevantie voor het AK volgt nog. Net als bij het IAMA, is dit document een manier om een multidisciplinaire discussie te faciliteren en stimuleren. Hierbij kunnen verschillende rollen betrokken worden door de projectleider: data-scientists, juristen, de functionaris gegevensbescherming (FG), aangevuld met domeinspecialisten.
Wanneer toepassen?
De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: probleemanalyse, dataverkenning en datapreparatie, ontwikkeling, implementatie en evaluatie. Daarnaast kan deze handreiking dienen voor opdrachtgevers van AI-systemen, ofwel om vooraf offrerende partijen te vragen aan te geven hoe zij rekening zullen houden met de diverse punten uit de handreiking, ofwel om tijdens het proces mee te kijken en op relevante punten aanwijzingen te geven, ofwel om achteraf te controleren of een opgeleverd product aan alle relevante voorwaarden voldoet.
Relatie tot IAMA
Gebruikers van zowel de Handreiking non-discriminatie by design als het IAMA geven enkele verschillen tussen de twee instrumenten. Deze bevindingen zijn te vinden in het rapport 'Bekendheid, toepasbaarheid en toegevoegde waarde handreiking “non-discriminatie by design"' van de Auditdienst Rijk.
Zij geven aan dat het IAMA wordt gezien als instrument voor het nagaan van de impact van grondrechten in algemenere zin, waar de Handreiking zich specifiek richt op discriminatie. De handreiking bevat dan weer meer praktische voorbeelden die kunnen helpen bij begrip en afwegingen, waar de IAMA wat abstracter is.
Relatie tot het Fairness Handbook
Over het Fairness Handbook werd in het rapport aangegeven dat het een technischere uitwerking bevat dan de Handreiking. Het Handbook biedt wellicht meer houvast voor iemand die analyses maakt om inzicht te geven in de prestaties van het algoritme met het oog op ‘fairness’ en ‘bias’. Dit komt doordat het Handbook meer details geeft over de technische stappen die nodig zijn om te komen tot bepaalde analyses.
Relatie tot Toetsingskader Risicoprofielen van College voor de Rechten van de Mens
Ook het toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens kan worden gebruikt om te bepalen of er discriminatie plaatsvindt. Dit kader is afkomstig uit 2021 en er wordt gewerkt aan een nieuwe versie, die waarschijnlijk eind 2024 zal verschijnen. De verschillende stappen die daarin gebruikt worden om te bepalen of een risicoprofiel tot discriminatie leidt op grond van ras of nationaliteit, zijn zeer relevant. Daarvoor hebben zij een beslisboom ontwikkeld.
Bijbehorende vereisten
| Vereiste |
|---|
| grw-01 - Algoritmes schenden geen grondrechten of mensenrechten |
| grw-02 - Algoritmes discrimineren niet |
| aia-04 - Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen |
Bijbehorende maatregelen
| Maatregel |
|---|
| dat-01 - Controleer de datakwaliteit |
| ver-01 - Toets het algoritme op bias |
| imp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren |
Bronnen
- Handreiking non-discriminatie by design
- Onderzoeksrapport Bekendheid, toepasbaarheid en toegevoegde waarde handreiking 'non-discriminatie by design'
- Toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens (2021)
Voorbeeld
Heb jij een goed voorbeeld van het gebruik van de Handreiking non-discriminatie by design op het gebied van algoritmen? Laat het ons weten!