Discriminerende effecten van algoritmes

Wie algoritmes ontwikkelt of gebruikt, moet discriminerende effecten hiervan voorkomen. Want met algoritmes kun je makkelijk discrimineren, ook al is dat niet de bedoeling. Let daarom steeds op ‘bias’. Dit zijn vooroordelen of fouten in je algoritme of aanpak.

Wat zijn discriminerende effecten van algoritmes?

Algoritmes hebben een discriminerend effect als je mensen ongelijk behandelt in gelijke situaties. En dit mag niet volgens de wet of de rechter.

Een camera met gezichtsherkenning herkent bijvoorbeeld geen vrouwen van kleur. Of een computerprogramma selecteert vooral mensen met een laag inkomen als risicogroep voor fraude.

Zo’n discriminerend effect ontstaat doordat het algoritme een verboden onderscheid maakt:

• Direct onderscheid: Het algoritme gebruikt een discriminatiegrond als variabele, zoals geloof, politieke voorkeur, ras, nationaliteit, geslacht, handicap, burgerlijke staat, vermogen of leeftijd.
• Indirect onderscheid: Het algoritme lijkt neutraal of eerlijk. Maar later blijkt dat bepaalde mensen op een andere manier worden behandeld door hun geloof, politieke of seksuele voorkeur, ras, geslacht, of burgerlijke staat.

Tip

Heeft je algoritme een discriminerend effect, dan moet je zo snel mogelijk stoppen met het algoritme. Gebruik bijvoorbeeld het discriminatieprotocol van het ministerie van Binnenlandse Zaken.

Uitzondering

Een direct of indirect onderscheid is niet altijd verboden volgens Artikel 2 Algemene wet gelijke behandeling. In bepaalde situaties en onder bepaalde strenge voorwaarden mag je zo’n onderscheid wel maken.

Direct onderscheid maken mag bijvoorbeeld als hiervoor een uitzondering staat in de wet. Zo mag je bijvoorbeeld in situaties waar het gaat om moederschap of zwangerschap onderscheid maken op basis van geslacht.

Indirect onderscheid maken mag niet, tenzij hiervoor een wettelijke uitzondering geldt. Of je hebt een goede reden (objectieve rechtvaardiging). Selecteert je algoritme bijvoorbeeld alleen vrouwen voor een vacature, dan moet je hier een objectieve rechtvaardiging voor hebben. En het algoritme moet passend en noodzakelijk zijn om een doel te bereiken dat wettelijk is toegestaan. Anders is het discriminatie.

Belang van discriminerende effecten voorkomen

Discriminatie is verboden volgens Artikel 1 van de Nederlandse Grondwet. En algoritmes kunnen snel een discriminerend effect hebben op grote groepen mensen. Vooral impactvolle algoritmes kunnen veel schade veroorzaken in de maatschappij door discriminatie.

Het is erg moeilijk om discriminerende effecten te voorkomen. Discriminatiegronden weglaten als variabele in je algoritme is niet genoeg. Want discriminatie ontstaat ook indirect, door bias.

Herken bias

Bias herkennen is een belangrijke stap in het voorkomen van discriminerende effecten van algoritmes.

'Bias' is een Engels woord voor vooroordeel of vooringenomenheid. Algoritmes met een bias maken steeds een bepaald soort fout. Volgens de norm ISO/IEC TR 24027 bevat een algoritme bias wanneer ze bepaalde mensen, groepen of producten steeds (systematisch) op een verschillende manier. Dit verhoogt de kans op discriminatie.

Alle algoritmes hebben vooroordelen en maken fouten, net als de mens. Wil je dit aanpakken, zoek dan naar bias in het algoritme zelf en in de mensen en processen om het algoritme heen. Een bias-vrij algoritme is niet mogelijk.

Bias ontstaat bijvoorbeeld in:

• statistiek en berekeningen (statistische bias)
• systemen en processen in bijvoorbeeld de samenleving of je organisatie (systemische bias)
• het menselijk denken (menselijke bias)

Bias in statistiek en berekeningen

Dit zijn fouten in de:

• kwaliteit van de data
• manier waarop algoritmes data verwerken

Voorbeelden:

Meet-bias (measurement bias)

Je algoritme maakt een verkeerde schatting of benadering van kenmerken of labels. Dit komt doordat het de ene variabele gebruikt om een andere variabele te voorspellen of te benaderen (proxy). En hierbij laat het belangrijke informatie weg, of het voegt onbelangrijke informatie (ruis) toe.

Een algoritme maakt bijvoorbeeld een verkeerde schatting van het risico op overlijden aan longontsteking in het ziekenhuis. Het algoritme leert namelijk uit de data dat dit risico lager is voor astmapatiënten. Maar dit komt niet door hun astma. Het algoritme laat weg dat astmapatiënten met longontsteking direct naar de intensive care gaan. En mensen zonder astma niet.

Versterkingsbias (amplification bias)

Je algoritme versterkt een patroon uit de trainingsdata.

Een algoritme dat mensen en hun acties herkent, voorspelt bijvoorbeeld 5 keer zo vaak de combinatie ‘vrouw’ en ‘koken’. Terwijl deze combinatie in de trainingsdata maar 2 keer zo vaak voorkomt.

Evaluatie-bias (evaluation bias)

Je algoritme trekt verkeerde conclusies omdat de evaluatiedata niet kloppen, of niet compleet zijn.

Een algoritme voor gezichtsherkenning herkent bijvoorbeeld vrouwen van kleur niet goed, omdat deze vrouwen te weinig voorkomen in de dataset voor evaluatie.

Representatie-bias (representation bias)

Je algoritme doet voorspellingen over een grote groep, op basis van resultaten uit subgroepen met te weinig verschillende proefpersonen.

Een algoritme beoordeelt bijvoorbeeld de populariteit van treinstations onder reizigers op basis van hun smartphone-gebruik. Maar deze groep is niet representatief, omdat oudere reizigers vaak minder gebruik maken van smartphones.

Bias in systemen en processen

Dit is vooringenomenheid die vaak in de loop der tijd is ontstaan in de samenleving of je organisatie. Deze vooringenomenheid werkt door in processen of systemen, of wordt soms versterkt door algoritmes. Dit gebeurt vaak niet bewust.

Systemische bias heet ook wel: institutionele vooringenomenheid. Dit betekent dat vooroordelen vaak horen bij de cultuur en samenleving. Die vooroordelen zitten daardoor ook in veel datasets, en kunnen zo versterkt worden door je algoritme.

Voorbeelden:

Historische bias

Je algoritme heeft vooroordelen die in de loop der tijd ontstonden in de samenleving.

Een algoritme gebruikt bijvoorbeeld data die gebaseerd is op oude belastingregels, terwijl er nieuwe wetten en regels zijn. Dan zit er een historische bias in je data. Of een algoritme voorspelt bijvoorbeeld de koopkracht van mensen, maar gebruikt hiervoor data uit een tijd waarin mannen meer verdienden dan vrouwen.

Activiteitenbias (activity bias)

Je algoritme geeft een verkeerd beeld over gebruikers van interactieve producten, zoals websites of apps. Dit komt omdat alleen de meest actieve gebruikers trainingsdata aanleveren.

Een algoritme onderzoekt bijvoorbeeld wat burgers van een bepaalde brief vinden op basis van kliks in een digitale vragenlijst. Het algoritme kan niet zeggen wat burgers écht vinden, omdat de meest actieve internetgebruikers vaker klikken en vaker de vragenlijst invullen.

Samenlevingsbias (societal bias)

Je algoritme maakt een fout op basis van stereotypes die voorkomen in de samenleving. Dit gebeurt vooral in AI-systemen die taal verwerken via Natural Language Processing (NLP).

Een algoritme dat teksten maakt, geeft bijvoorbeeld ‘verpleegster’ als vrouwelijke vorm van ‘dokter’. Dit komt omdat het stereotype dokter in die samenleving een man is.

Bias in menselijk denken

Dit zijn vooroordelen in het menselijk denken die steeds (systematisch) invloed hebben op de manier waarop iemand iets ziet, hoort, ruikt, proeft of voelt.

Menselijke bias kan invloed hebben op de:

• verzamelde data
• manier waarop je het algoritme optimaliseert
• besluiten die je neemt op basis van het algoritme

Voorbeelden:

Automatiseringsbias

Mensen maken een denkfout omdat zij de voorkeur geven aan adviezen van automatische besluitvormingssystemen. Zelfs als uit andere informatie blijkt dat deze adviezen niet kloppen.

Wanneer behandelaren handmatig controleren of een uitkering van een burger klopt, hebben zij vaak de neiging om de beslissing te volgen van het algoritme.

Cognitieve bias

Mensen maken een denkfout omdat zij volgens een vast patroon afwijken van logisch nadenken. Vaak gebeurt dit om complexe denktaken te versimpelen of versnellen.

Administratief medewerkers weigeren bijvoorbeeld een AI-systeem te gebruiken, omdat ze slechte ervaringen hebben met een ander AI-systeem. Zij willen het nieuwe AI-systeem dus niet gebruiken, terwijl ze dit nooit gebruikt hebben.

Bevestigingsbias

Mensen maken een denkfout omdat zij de voorkeur geven aan voorspellingen van algoritmes die hun eigen overtuigingen of gedachtes bevestigen.

Rechercheurs zoeken bijvoorbeeld direct naar bewijs om verdachte X te veroordelen, nadat een algoritme X voorspelt als dader. Terwijl de rechercheurs ook ander bewijs moeten zoeken.

Implementatie-bias

Een algoritme wordt op een andere manier gebruikt dan hoe het bedoeld is en waarvoor het ontwikkeld is. Dit komt vaak voor wanneer een algoritme wordt gebruikt als beslishulp voor mensen. Deze vorm van bias is een menselijke denkfout in de vorm dat gebruikers niet op dezelfde of goede manier omgaan met adviezen.

Een wet over bijvoorbeeld immigratie wordt ingevoerd en er wordt een algoritme ontwikkeld om te onderzoeken wat de gevolgen hiervan zijn. Dit algoritme is dan ook bedoeld om voor bepaalde groepen mensen te kijken wat de gevolgen zijn. Het algoritme wordt ook gebruikt bij het toekennen van staatsburgerschap aan de hand van de gevolgen. Dit is niet zoals het systeem bedoeld is en dus kunnen er incomplete antwoorden of resultaten uitkomen.

Overlevingsbias (survivorship bias)

Mensen hebben de neiging om voorkeur te geven aan dingen, mensen of observaties die door een bepaalde selectie zijn gekomen. Naar de gevallen die buiten de selecties vallen wordt vaak niet of minder gekeken. Dit kan leiden tot een zichzelf versterkend proces. Zo worden bijvoorbeeld modellen die werken verbeterd, maar wordt niet gekeken waarom de andere modellen niet werken.

Om fraudeherkenning te vergemakkelijken wordt bijvoorbeeld een model getraind op data van personen/huishoudens die eerder zijn gecontroleerd op mogelijke fraude. Hiermee wordt een groot gedeelte personen/huishoudens niet meegenomen in de trainingsdata, omdat deze groep niet eerder gecontroleerd is.

Bepaal wat eerlijk en rechtvaardig is

Ontdek je bias, dan wil je je algoritme of je aanpak verbeteren. Hoe je dat doet, hangt af van wat je organisatie zelf eerlijk en rechtvaardig vindt. Dit heet ook wel het bepalen van ‘algoritmische fairness’.

Let altijd op discriminerende effecten

Het risico op bias en discriminatie blijft altijd bestaan. Je kunt dit niet in 1 keer wegnemen.

Houd daarom rekening met bias tijdens het ontwikkelen, inkopen en gebruiken van algoritmes. En controleer voortdurend of je algoritmes en je aanpak nog eerlijk en rechtvaardig zijn. Let hierop in alle fasen van de levenscyclus van het algoritme.

Vereisten

id	Vereisten
aia-04	Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen.
avg-08	Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt.
grw-02	Algoritmes discrimineren niet.

Aanbevolen maatregelen

id	Maatregelen
org-15	Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe.
dat-07	Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.
owk-08	Bepaal welke feedbackloops van invloed zijn op het algoritme
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-02	Evalueer de nauwkeurigheid van het algoritme
ver-03	Toets het algoritme op bias
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren

Aanbevolen hulpmiddelen

Hulpmiddelen
The Fairness Handbook
Handreiking non-discriminatie by design
Discriminatie door risicoprofielen - Een mensenrechtelijk toetsingskader
Standaarden

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.