AI-systemen en algoritmes mogen niet discrimineren
ProbleemanalyseDataverkenning en datapreparatieOntwerpVerificatie en validatieImplementatieMonitoring en beheerFundamentele rechten
Vereiste¶
Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Directe en indirecte discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht, handicap, seksuele gerichtheid of op welke grond dan ook, is niet toegestaan.
Toelichting¶
Overheidsinstanties moeten zich bij het uitvoeren van hun taken onthouden van discriminatie, ook wanneer er gebruik wordt gemaakt van algoritmes of AI. Wanneer er algoritmes worden gebruikt om selecties te maken van burgers, dienen we te streven naar een gelijke behandeling van personen of groepen ten opzichte van andere personen in een vergelijkbare situatie. Hierbij is het belangrijk te beseffen dat discriminatie ook op indirecte wijze kan ontstaan. Hiervan is sprake wanneer een ogenschijnlijk neutrale bepaling, maatstaf of handelwijze personen met een beschermd persoonskenmerk in vergelijking met andere personen in het bijzonder benadeelt, tenzij hiervoor een objectieve rechtvaardiging bestaat.
Bronnen¶
Wanneer van toepassing?¶
| niet-impactvol | impactvol |
|---|---|
| niet-impactvol | impactvol | hoog-risico-ai |
|---|---|---|
| niet-impactvol | impactvol | hoog-risico-ai |
|---|---|---|
Risico¶
Het risico bestaat dat het model onwenselijke systematische afwijkingen creëert voor specifieke personen, groepen of andere eenheden, wat kan duiden op directe of indirecte discriminerende effecten van het algoritme.
Maatregelen¶
| Maatregel | Uitleg |
|---|---|
| Bespreek de vereiste met aanbieder of opdrachtnemer | Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste. |
| Configuratie met de mens | Zorg voor complementariteit tussen algoritmische systeem en de mensen die ermee moeten werken. |
| Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren. | Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren. |
| Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving | Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste. |
| Maak de vereiste onderdeel van het programma van eisen | Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen. |
| Maak de vereiste onderdeel van contractvoorwaarden | Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen. |
| Maak de vereiste onderdeel van de contractovereenkomst | Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar. |
| Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding. | Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden. |
| Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst | Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste. |
| Maatregel | Uitleg |
|---|
| Maatregel | Uitleg |
|---|---|
| Bespreek de vereiste met aanbieder of opdrachtnemer | Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste. |
| Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren. | Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren. |
| Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving | Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste. |
| Maak de vereiste onderdeel van het programma van eisen | Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen. |
| Maak de vereiste onderdeel van contractvoorwaarden | Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen. |
| Maak de vereiste onderdeel van de contractovereenkomst | Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar. |
| Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding. | Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden. |
| Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst | Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste. |