Discriminerende effecten en ander ongewenst onderscheid bij het gebruik van algoritmes
Wie algoritmes ontwikkelt of gebruikt, moet ongewenst onderscheid en eventuele discriminerende effecten hiervan voorkomen. Want met algoritmes kun je makkelijk discrimineren, ook al is dat niet de bedoeling. Let daarom steeds op ‘bias’. Dit zijn vooroordelen of fouten in je algoritme of aanpak.
Wat is ongewenst onderscheid?
Algoritmes kunnen leiden tot ongewenst onderscheid als je mensen of (andere) groepen ongelijk behandelt in gelijke situaties.
Een camera met gezichtsherkenning herkent bijvoorbeeld geen vrouwen van kleur. Of een computerprogramma selecteert vooral mensen met een laag inkomen als risicogroep voor fraude.
Dit onderscheid kan op twee manieren ontstaan:
- Direct onderscheid: Het algoritme gebruikt een discriminatiegrond als variabele, zoals geloof, politieke voorkeur, ras, nationaliteit, geslacht, handicap, burgerlijke staat, vermogen of leeftijd.
- Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat.
Direct en indirect onderscheid is in veel gevallen niet toegestaan. Ongewenst onderscheid kan leiden tot discrimerende effecten van een algoritme.
Tip
Maakt je algoritme een ongewenst onderscheid of is er sprake van discrimerende effecten van je algoritme? Dan moet je zo snel mogelijk stoppen met het algoritme. Gebruik bijvoorbeeld het discriminatieprotocol van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
Uitzondering
Een direct of indirect onderscheid is niet altijd verboden volgens Artikel 2 Algemene wet gelijke behandeling. In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo’n onderscheid wel maken.
Direct onderscheid maken mag bijvoorbeeld als hiervoor een uitzondering staat in de wet. Zo mag je in situaties waar het gaat om moederschap of zwangerschap onderscheid maken op basis van geslacht.
Indirect onderscheid maken mag niet, tenzij hiervoor een wettelijke uitzondering geldt. Of je hebt een goede reden (objectieve rechtvaardiging). Selecteert je algoritme bijvoorbeeld alleen vrouwen voor een vacature, dan moet je hier een objectieve rechtvaardiging voor hebben. En het algoritme moet passend en noodzakelijk zijn om een doel te bereiken dat wettelijk is toegestaan. Anders is het discriminatie.
Belang van discriminerende effecten voorkomen
Discriminatie is verboden volgens Artikel 1 van de Nederlandse Grondwet. En algoritmes kunnen snel een discriminerend effect hebben op grote groepen mensen. Vooral impactvolle algoritmes kunnen veel schade veroorzaken in de maatschappij door discriminatie.
Het is erg moeilijk om discriminerende effecten te voorkomen. Discriminatiegronden weglaten als variabele in je algoritme is niet genoeg. Want discriminatie ontstaat ook indirect, door bias.
Profilering
Veel organisaties gebruiken risicoprofilering als hulpmiddel om regels te handhaven. Dit gebruik van risicoprofilering kan leiden tot discriminerende effecten. Het gebruik van risicoprofilering vraagt om een zorgvuldige aanpak om nadelige effecten te voorkomen. Om organisaties hier mee te helpen, heeft het College voor de Rechten van de Mens een gedetailleerd toetsingskader voor risicoprofilering ontwikkeld om discriminatie op grond van ras en nationaliteit te voorkomen.
Tip
Meer weten over dit onderwerp? Of wil je dat collega's meer weten over dit onderwerp? Volg de e-learning non-discriminatie in algoritmes en data, ontwikkeld door het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.
Herken bias
Bias herkennen is een belangrijke stap in het voorkomen van discriminerende effecten van algoritmes.
'Bias' is een Engels woord voor vooroordeel of vooringenomenheid. Algoritmes met een bias maken steeds een bepaald soort fout. Volgens de norm ISO/IEC TR 24027 bevat een algoritme bias wanneer het bepaalde mensen, groepen of producten steeds (systematisch) op een verschillende manier behandelt. Dit verhoogt de kans op discriminatie.
Alle algoritmes hebben vooroordelen en maken fouten, net als de mens. Wil je dit aanpakken, zoek dan naar bias in het algoritme zelf en in de mensen en processen om het algoritme heen. Een bias-vrij algoritme is niet mogelijk.
Bias ontstaat bijvoorbeeld in:
- statistiek en berekeningen (statistische bias)
- systemen en processen in bijvoorbeeld de samenleving of je organisatie (systemische bias)
- het menselijk denken (menselijke bias)
Bias in statistiek en berekeningen
Dit zijn fouten in de:
- kwaliteit van de data
- manier waarop algoritmes data verwerken
Voorbeelden:
Bias in systemen en processen
Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust.
Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent dat vooroordelen vaak horen bij de cultuur en samenleving. Die vooroordelen zitten daardoor ook in veel datasets, en kunnen zo versterkt worden door je algoritme.
Voorbeelden:
Bias in menselijk denken
Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt.
Menselijke bias kan invloed hebben op de:
- verzamelde data
- manier waarop je het algoritme optimaliseert
- besluiten die je neemt op basis van het algoritme
Voorbeelden:
Let altijd op discriminerende effecten
Het risico op bias en discriminatie blijft altijd bestaan. Je kunt dit niet in 1 keer wegnemen.
Houd daarom rekening met bias tijdens het ontwikkelen, inkopen en gebruiken van algoritmes. En controleer voortdurend of je algoritmes en je aanpak nog eerlijk en rechtvaardig zijn. Let hierop in alle fasen van de levenscyclus van het algoritme.