The Fairness Handbook
ProbleemanalyseOntwerpProjectleiderBias en non discriminatieFundamentele rechten
Direct naar het Fairness Handbook
Hulpmiddel
Het Fairness Handbook biedt overheidsorganisaties een gedetailleerde richtlijn om eerlijkheid in algoritmen te waarborgen en schadelijke vooroordelen binnen AI-systemen te verminderen. Het handboek, dat origineel is ontwikkeld voor de Gemeente Amsterdam, richt zich op het voorkomen en mitigeren van vooroordelen en oneerlijke uitkomsten (bias) door middel van een gestructureerde Fairness Pipeline. Deze pipeline behandelt alle fasen van het ontwikkelproces, van het formuleren van het probleem tot de uiteindelijke implementatie en monitoring. Dit hulpmiddel biedt inzicht in de soorten schadelijke effecten van AI (zoals representatiebias en denigratieschade) en introduceert specifieke technieken, zoals het uitvoeren van een bias-analyse en het gebruik van contra-feitelijke scenario's (counterfactual fairness), om te controleren of de algoritmen rechtvaardige resultaten opleveren.
Naast praktische technieken voor het meten en mitigeren van vooroordelen, definieert het Fairness Handbook verschillende eerlijkheidsprincipes en bijbehorende statistische metrics. Deze metrics helpen ontwikkelaars en beleidsmakers om de prestaties van modellen te analyseren en verschillen in modelprestaties tussen verschillende groepen te detecteren. Door de nadruk te leggen op transparantie, zowel in de keuze van datasets als in de manier waarop het model beslissingen neemt, helpt het handboek om het vertrouwen in AI-systemen te vergroten en discriminerend gedrag in algoritmen te verminderen.
Relevantie
Het Fairness Handbook biedt ondersteuning voor overheden die streven naar verantwoorde, niet-discriminerende algoritmische besluitvorming. Het handboek ondersteunt overheidsinstanties bij het identificeren en corrigeren van vooroordelen in datasets en algoritmes, waardoor het risico op schadelijke effecten, zoals ongelijke verdeling van kansen of kwaliteit van dienstverlening, wordt geminimaliseerd. Het hulpmiddel sluit nauw aan bij andere hulpmiddelen, zoals de IAMA, door richtlijnen te geven voor het beoordelen van specifieke eerlijkheidsaspecten in de context van datagebruik en algoritmeontwikkeling.
Door de combinatie van technische en niet-technische benaderingen bevordert het Fairness Handbook een holistische benadering van algoritmische eerlijkheid. Er wordt rekening gehouden met zowel de technische als de sociale en ethische dimensies. Dit maakt het een bruikbaar hulpmiddel voor diverse overheidsprojecten, waaronder de ontwikkeling van AI-toepassingen in het sociaal domein en besluitvormingsprocessen waarbij kansengelijkheid van groot belang is.
Auteurs en Ontwikkeling
Het Fairness Handbook is ontwikkeld in 2022 door de Gemeente Amsterdam, met als doel de eerlijkheid en transparantie van haar AI-systemen te verbeteren. Het project is tot stand gekomen in samenwerking met diverse stakeholders, waaronder datawetenschappers, ethici en beleidsmakers, om ervoor te zorgen dat het handboek aansluit bij de bredere maatschappelijke behoeften en regelgeving. Door deze samenwerking biedt het Fairness Handbook een gebalanceerd perspectief, met aandacht voor zowel technische oplossingen als ethische en juridische overwegingen die nodig zijn voor verantwoorde AI-toepassingen.
Bijbehorende vereisten
| Vereiste |
|---|
| grw-01 - Algoritmes schenden geen grondrechten of mensenrechten |
| grw-02 - Algoritmes discrimineren niet |
| aia-04 - Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen. |
Bijbehorende maatregelen
| Maatregel |
|---|
| dat-01 - Controleer de datakwaliteit |
| ver-01 - Toets het algoritme op bias |
| imp-02 - Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren |
Bronnen
Voorbeeld
Heb jij een goed voorbeeld van het gebruik van het Fairness Handbook op het gebied van algoritmen? Laat het ons weten!