Algoritmes discrimineren niet

grw-02OntwerpOntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderBias en non discriminatie

Vereiste

Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Directe en indirecte discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, handicap, seksuele gerichtheid of op welke grond dan ook, is niet toegestaan.

Toelichting

Overheidsinstanties moeten zich bij het uitvoeren van hun taken onthouden van discriminatie, ook wanneer er gebruik wordt gemaakt van algoritmes. Wanneer er algoritmes worden gebruikt om selecties te maken van burgers, dienen we te streven naar een gelijke behandeling van personen of groepen ten opzichte van andere personen in een vergelijkbare situatie.

Hierbij is het belangrijk te beseffen dat discriminatie ook op indirecte wijze kan ontstaan. Hiervan is sprake wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een beschermd persoonskenmerk in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.

Bronnen

• Artikel 1 Grondwet
• Artikel 14 Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden, Rome, 04-11-1950
• Artikel 21, Handvest van de grondrechten van de Europese Unie
• Artikel 1 Algemene wet gelijke behandeling
• Artikel 1 Protocol nr. 12 bij het Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden, Rome, 04-11-2000
• Artikel 9 Algemene Verordening Gegevensbescherming
• Artikel 2:4 Algemene wet bestuursrecht
• Advies geautomatiseerde besluitvorming - Autoriteit Persoonsgegevens

Van toepassing op

Deze vereiste geldt waarschijnlijk voor jouw algoritmische toepassingen. Bekijk de bronnen om te controleren of dit zo is.

Wanneer er geautomatiseerde risicoselectie plaatsvindt in je algoritme, volgt dit als een vereiste uit het AP-advies over geautomatiseerde besluitvorming.

Risico

Het risico bestaat dat het model onwenselijke systematische afwijkingen creëert voor specifieke personen, groepen of andere eenheden, wat kan duiden op directe of indirecte discriminerende effecten van het algoritme.

Maatregelen

id	Maatregelen
org-15	Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe
owp-15	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
owp-16	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst
owp-20	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding
owp-21	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-23	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-27	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-31	Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes
dat-02	Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor het beoogde algoritme
owk-02	Maak een noodplan voor het stoppen van het algoritme
ver-03	Toets het algoritme op bias en voer een rechtvaardigingstoets uit
imp-01	Stel een werkinstructie op voor gebruikers
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren

Hulpmiddelen

Hulpmiddelen
The Fairness Handbook
Handreiking non-discriminatie by design
Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit