Overleg regelmatig met belanghebbenden

pba-04ProbleemanalyseOntwerpImplementatieProjectleiderGovernanceFundamentele rechten

Maatregel

Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus. Belanghebbenden zijn onder meer eindgebruikers, mensen en rechtspersonen die door het algoritme geraakt kunnen worden en vertegenwoordigende organisaties.

Toelichting

Algoritmes worden vaak gebruikt binnen een (specifieke) context waar deze invloed op uitoefenen. Medewerkers moeten bijvoorbeeld werken met de uitkomsten of anderen zijn onderwerp van het algoritme. Om te voorkomen dat er een mismatch ontstaat met de realiteit, is het van belang om verschillende belanghebbende mee te nemen. Het betrekken van specifieke domeinkennis kan bijvoorbeeld in de vorm van kennisdelingsessies of workshops.

Het betrekken van belanghebbenden is van belang in bijna alle fasen van de levenscyclus.

In de fase van de probleemanalyse is het allereerst van belang in kaart te brengen welke stakeholders er zijn. Wie gaan bijvoorbeeld werken met het algoritme (eindgebruikers)? En welke demografieën worden geraakt door een algoritme? Bij wie liggen de voordelen en bij wie liggen de nadelen? Ga vervolgens in gesprek met belanghebbenden - al dan niet vertegenwoordigd door belangenorganisaties zoals burgerrechtenorganisaties - over het te ontwerpen algoritme en de context waarin het gebruikt wordt. Bespreek daarbij welke definitie en metriek van fairness past bij de context.

In de fase van dataverkenning en datapreparatie is het van belang om domeinexpertise te betrekken, om zo in kaart te brengen wat de data features betekenen en waar zij vandaan komen. Op basis daarvan kan in kaart gebracht worden of er sprake is van bias en/of links met beschermde persoonskenmerken.

In de fase van implementatie is het van belang de eindgebruikers te betrekken. Het is dan vooral van belang om maatregelen te nemen om automation bias, deployment bias en reinforcing feedback loop te voorkomen of te beperken.

In de fase van monitoren is het van belang belanghebbenden te betrekken bij de evaluatie. Dit kan bijvoorbeeld in de vorm van een survey of focusgroep. Zij kunnen problemen in de praktijk naar voren brengen, die niet altijd terug te vinden zijn in de data.

Terugkoppelen aan buitenwereld.

Bijbehorende vereiste(n)

Vereiste
awb-01 - Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk

Bronnen

• Toetsingskader Algemene Rekenkamer 2.12
• The Fairness Handbook
• Handreiking non-discriminatie by design
• Ethics Guidelines for Trustworthy AI
• Onderzoekskader Algoritmes Auditdienst Rijk, SV.10

Risico

De mismatch kan nadelige gevolgen hebben voor de effectiviteit van het algoritme binnen een context. Het kan daarnaast ook ongerechtvaardigde discriminatie in de hand werken. Ontwikkelaars kunnen bijvoorbeeld missen dat in de context van het algoritme een variabele een proxy is voor een discriminatiegrond.

Voorbeeld

Er zijn veel verschillende methoden om belanghebbenden te betrekken. Zo kan je bijvoorbeeld werken met persona’s of ‘empathy maps’ maken. Ook kan je focusgroepen houden. Denk dan bijvoorbeeld aan een burgerpanel.

Andere methoden zijn: Methodologie van Waag, Civic AI lab, Stakeholder escalation ladder.

Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl