Ga naar inhoud

Handreiking non-discriminatie by design

OntwikkelenImplementatieProjectleiderOntwikkelaarBias en non discriminatieFundamentele rechten

Direct naar de Handreiking non-discriminatie by design

Hulpmiddel

Deze handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief. De handreiking is een praktisch toepasbaar ontwerpkader dat ontwikkelaars helpt om al in de ontwikkelfase van een AI-systeem discriminerende patronen zoveel mogelijk te identificeren, te voorkomen en te bestrijden.

Er zijn 4 uitgangspunten die leidend zijn in de handreiking:

  1. Diversiteit
  2. Context
  3. Controleerbaarheid
  4. Evaluatie.

Relevantie

Stuk over relevantie voor het AK volgt nog. Net als bij het IAMA, is dit document een manier om een multidisciplinaire discussie te faciliteren en stimuleren. Hierbij kunnen verschillende rollen betrokken worden door de projectleider: data-scientists, juristen, de functionaris gegevensbescherming (FG), aangevuld met domeinspecialisten.

Wanneer toepassen?

De handreiking is primair geschreven voor teams die zelf AI-systemen bouwen. Het gaat in op verschillende fases van ontwikkeling: probleemanalyse, dataverkenning en datapreparatie, ontwikkeling, implementatie en evaluatie. Daarnaast kan deze handreiking dienen voor opdrachtgevers van AI-systemen, ofwel om vooraf offrerende partijen te vragen aan te geven hoe zij rekening zullen houden met de diverse punten uit de handreiking, ofwel om tijdens het proces mee te kijken en op relevante punten aanwijzingen te geven, ofwel om achteraf te controleren of een opgeleverd product aan alle relevante voorwaarden voldoet.

Relatie tot IAMA

Gebruikers van zowel de Handreiking non-discriminatie by design als het IAMA geven enkele verschillen tussen de twee instrumenten. Deze bevindingen zijn te vinden in het rapport 'Bekendheid, toepasbaarheid en toegevoegde waarde handreiking “non-discriminatie by design"' van de Auditdienst Rijk.

Zij geven aan dat het IAMA wordt gezien als instrument voor het nagaan van de impact van grondrechten in algemenere zin, waar de Handreiking zich specifiek richt op discriminatie. De handreiking bevat dan weer meer praktische voorbeelden die kunnen helpen bij begrip en afwegingen, waar de IAMA wat abstracter is.

Relatie tot het Fairness Handbook

Over het Fairness Handbook werd in het rapport aangegeven dat het een technischere uitwerking bevat dan de Handreiking. Het Handbook biedt wellicht meer houvast voor iemand die analyses maakt om inzicht te geven in de prestaties van het algoritme met het oog op ‘fairness’ en ‘bias’. Dit komt doordat het Handbook meer details geeft over de technische stappen die nodig zijn om te komen tot bepaalde analyses.

Relatie tot Toetsingskader Risicoprofielen van College voor de Rechten van de Mens

Ook het toetsingskader voor discriminatie door risicoprofielen van het College voor de Rechten van de Mens kan worden gebruikt om te bepalen of er discriminatie plaatsvindt. Dit kader is afkomstig uit 2021 en er wordt gewerkt aan een nieuwe versie, die waarschijnlijk eind 2024 zal verschijnen. De verschillende stappen die daarin gebruikt worden om te bepalen of een risicoprofiel tot discriminatie leidt op grond van ras of nationaliteit, zijn zeer relevant. Daarvoor hebben zij een beslisboom ontwikkeld.

Bijbehorende vereisten

Vereiste
grw-01 - Algoritmes schenden geen grondrechten of mensenrechten
grw-02 - Algoritmes discrimineren niet
aia-04 - Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen

Bijbehorende maatregelen

Maatregel
dat-01 - Controleer de datakwaliteit
ver-01 - Toets het algoritme op bias
imp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren

Bronnen

Voorbeeld

Heb jij een goed voorbeeld van het gebruik van de Handreiking non-discriminatie by design op het gebied van algoritmen? Laat het ons weten!