Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze
owp-32OntwerpProjectleiderBeleid en adviesOntwikkelaarTransparantie
Maatregel
Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.
Toelichting
Uitlegbaarheidstechnieken helpen om de werking van een algoritme transparant te maken. De keuze voor het type algoritme bepaalt hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Aan de andere kant kunnen complexe AI-systemen een black box zijn. Het is dan onduidelijk hoe deze systemen beslissingen maken.
Afhankelijk van het type algoritme zijn er uitlegbaarheidstechnieken beschikbaar om de werking en keuzes van een algoritme bloot te leggen. Er moet eerst een keuze worden gemaakt welk type algoritme geschikt is gezien de informatiebehoefte. Het is belangrijk om samen met de betrokken partijen vast te leggen welke uitlegbaarheidstechnieken moeten worden toegepast. Bij bronnen kan informatie worden geraadpleegd die helpen bij het vinden van de juiste methodiek.
Gebruik uitlegbaarheid bij besluiten
Onderzoek hoe uitlegbaarheidstechnieken kunnen bijdragen aan het motiveren van besluiten. Dit kan bijvoorbeeld door:
- De output van het algoritme te koppelen aan het zaakdossier, met een toelichting op de interpretatie van die output.
- De output of een samenvatting hiervan op te nemen in de beschikking.
Beperkingen en veiligheid
Vanuit veiligheidsoverwegingen kan bij specifieke algoritmes besloten worden om bepaalde informatie over de werking van een algoritme niet aan iedereen vrij te geven. Denk hierbij aan de beperkingen die de Wet Open Overheid oplegt. Houd ook rekening met mogelijke risico’s op aanvallen die kunnen ontstaan door het gebruik van uitlegbaarheidstechnieken, zoals omschreven in: A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures.
Evaluatie en validatie
Evalueer de uitlegbaarheid van het systeem op functionele, operationele, bruikbaarheids- en veiligheidsvereisten in samenwerking met betrokkenen zoals gebruikers. Valideer of de uitkomst van het algoritme begrijpelijk genoeg is voor een gebruiker om hier op een verantwoorde wijze mee te werken.
Risico
Als er geen rekening wordt gehouden met de uitlegbaarheid van een algoritme binnen een bepaalde context ontstaat het risico dat de output van het algoritme niet wordt begrepen of verkeerd wordt geïnterpreteerd, wat kan leiden tot onjuist gebruik.
Bijbehorende vereiste(n)
Bronnen
- Onderzoekskader Auditdienst Rijk, DM.11
- Toetsingskader Algoritmes, Algemene Rekenkamder, 2.04
- Toolkit voor implementatie
- An introduction to explainable AI with Shapley values
- Paper over (de evaluatie van) toolkits
- UXAI: Design Strategy
- Overzicht (evaluatie van) metrieken XAI
- Part 2: Explaining AI in practice | ICO
- A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures
- Towards Transparency by Design for Artificial Intelligence | Science and Engineering Ethics.
- From Anecdotal Evidence to Quantitative Evaluation Methods: A Systematic Review on Evaluating Explainable AI
Voorbeelden
Gemeente Amsterdam - Slimme check levensonderhoud
Gemeente Amsterdam heeft in een pilot gebruik gemaakt van een algoritme dat medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. De gemeente heeft ook een document waarin wordt toegelicht hoe verwerkte data gebruikt wordt. Dit is gedaan aan de hand van bijvoorbeeld een belangrijkheids-score per kenmerk. Op deze manier wordt inzichtelijk en uitlegbaar wat de invloed is van individuele kenmerken.
Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl.