Ga naar inhoud

AI-systemen en algoritmes mogen niet discrimineren

grw-02ProbleemanalyseDataverkenning en datapreparatieOntwerpVerificatie en validatieImplementatieMonitoring en beheerFundamentele rechtenBias en non discriminatie

Vereiste

Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Directe en indirecte discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, handicap, seksuele gerichtheid of op welke grond dan ook, is niet toegestaan.

Toelichting

Overheidsinstanties moeten zich bij het uitvoeren van hun taken onthouden van discriminatie, ook wanneer er gebruik wordt gemaakt van algoritmes of AI. Wanneer er algoritmes worden gebruikt om selecties te maken van burgers, dienen we te streven naar een gelijke behandeling van personen of groepen ten opzichte van andere personen in een vergelijkbare situatie. Hierbij is het belangrijk te beseffen dat discriminatie ook op indirecte wijze kan ontstaan. Hiervan is sprake wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een beschermd persoonskenmerk in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.

Bronnen

Wanneer van toepassing?

Risico

Het risico bestaat dat het model onwenselijke systematische afwijkingen creëert voor specifieke personen, groepen of andere eenheden, wat kan duiden op directe of indirecte discriminerende effecten van het algoritme.

Maatregelen

idMaatregelenRollenLevenscyclusOnderwerpen
Gebruik aselecte steekproeven als er gebruik gemaakt wordt van risicogestuurde selectie implementatie monitoring-en-beheer bias-en-non-discriminatie technische-robuustheid-en-veiligheid
Bespreek de vereiste met aanbieder of opdrachtnemer proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder opdrachtnemer ontwerp ontwikkelen publieke-inkoop
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren. proceseigenaar behoeftesteller inkoopadviseur aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak de vereiste onderdeel van het programma van eisen proceseigenaar behoeftesteller data-scientist inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak de vereiste onderdeel van de contractovereenkomst behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak vereisten voor algoritmes en AI-systemen onderdeel van contractvoorwaarden proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding. proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes en AI-systemen. proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus architect organisatieverantwoordelijkheden governance
Richt een proces in voor een periodieke evaluatie van de kwaliteit van het algoritme of AI-systeem. proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur contractbeheerder organisatieverantwoordelijkheden governance
Tref (technische) maatregelen waarmee het gebruik van het algoritme of AI-systeem kan worden stopgezet. proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur contractbeheerder ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer uitfaseren governance
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst proceseigenaar behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Voer een biasanalyse uit ethicus data-scientist opdrachtgever projectleider jurist domeinspecialist ontwerp verificatie-en-validatie monitoring-en-beheer bias-en-non-discriminatie