Ga naar inhoud

Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.

owp-07OntwerpProjectleiderBeleid en adviesOntwikkelaarTransparantie

Maatregel

Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.

Toelichting

Uitlegbaarheidstechnieken helpen om de werking van een algoritme transparant te maken. De keuze voor het type algoritme bepaalt hoe transparant je kunt zijn. Van rekenregels kun je namelijk precies uitleggen hoe deze tot een beslissing komen. Maar complexe AI-systemen kunnen een black box zijn. Het is dan onduidelijk hoe deze systemen beslissingen maken.

Afhankelijk van het type algoritme zijn er uitlegbaarheidstechnieken beschikbaar om de werking en keuzes van een algoritme bloot te leggen. Er moet eerst een keuze worden gemaakt welk type algoritme geschikt is gezien de informatiebehoefte. Het is belangrijk om samen met de betrokken partijen vast te leggen welke uitlegbaarheidstechnieken moeten worden toegepast. Bij bronnen kan informatie worden geraadpleegd die helpen bij het vinden van de juiste methodiek.

Gebruik uitlegbaarheid bij besluiten

Onderzoek hoe uitlegbaarheidstechnieken kunnen bijdragen aan het motiveren van besluiten. Dit kan bijvoorbeeld door:

- De output van het algoritme te koppelen aan het zaakdossier, met een toelichting op de interpretatie van die output.
- De output of een samenvatting hiervan op te nemen in de beschikking.

Beperkingen en veiligheid

Vanuit veiligheidsoverwegingen kan bij specifieke algoritmes besloten worden om bepaalde informatie over de werking van een algoritme niet aan iedereen vrij te geven. Denk hierbij aan de beperkingen die de Wet Open Overheid oplegt. Houd ook rekening met mogelijke risico’s op aanvallen die kunnen ontstaan door het gebruik van uitlegbaarheidstechnieken, zoals omschreven in: A Survey of Privacy-Preserving Model Explanations: Privacy Risks, Attacks, and Countermeasures.

Evaluatie en validatie

Evalueer de uitlegbaarheid van het systeem op functionele, operationele, bruikbaarheids- en veiligheidsvereisten in samenwerking met betrokkenen zoals gebruikers. Valideer of de uitkomst van het algoritme begrijpelijk genoeg is voor gebruiker om hier op een verantwoorde wijze mee te werken.

Bijbehorende vereiste(n)

Vereiste
aia-08 - Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen
aia-28 - Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten
awb-02 - Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit

Risico

Als er geen rekening wordt gehouden met de uitlegbaarheid van een algoritme binnen een bepaalde context, ontstaat het risico dat de output van het algoritme niet wordt begrepen of verkeerd wordt geïnterpreteerd, wat kan leiden tot onjuist gebruik.

Bronnen

Voorbeeld