Stel een werkinstructie op voor gebruikers
imp-01ImplementatieProjectleiderBeleid en adviesMenselijke controleTransparantieGovernance
Maatregel
Stel een werkinstructie op voor gebruikers zodat zij weten hoe het algoritme correct gebruikt kan worden en hoe ze om kunnen gaan met de (veiligheids)risico's.
Toelichting
Het is belangrijk dat gebruikers een werkinstructie ontvangen met informatie over hoe zij met het algoritme kunnen en moeten werken. Hierin worden zaken beschreven als:
- Op wat voor manier het algoritme ondersteunt bij het uitvoeren van (wettelijke) taken en hoe het past in de werkwijze. Maak hierbij een duidelijke keuze rondom de rol van het systeem/algoritme bij de werkwijze van medewerkers.
- Wat de mogelijkheden en beperkingen zijn bij het gebruik van het algoritme. Op welke manieren mag het algoritme gebruikt worden? En op welke manieren niet? Wat zijn de grenzen van toepasbaarheid? En wat zijn de voorwaarden waaronder het model gebruikt kan worden en waaronder niet?
- Maak duidelijke werkinstructies en protocollen om te voorkomen dat beslissingen, gebaseerd op de output van het systeem, door (automation) bias worden beïnvloed.
- Welke informatie mag er worden ingevoerd in het systeem? En welke informatie niet?
- Wat de impact is van het gebruik van het algoritme op de samenleving en individuen (denk aan fundamentele rechten en energieverbruik of dat een besluit met rechtsgevolgen wordt genomen).
- Zorg dat medewerkers weten waar ze eventuele problemen met het systeem kunnen melden. Bespreek regelmatig met de betrokken medewerkers welke uitdagingen of verbeteringen zij zien bij het gebruik van het systeem.
-
Wat de risico's zijn die aan het gebruik verbonden zijn. Denk aan:
- verschillende vormen van bias, zoals automation bias,
- foutieve beslissingen
- veiligheidsrisico's.
-
Welke maatregelen zijn getroffen om deze risico's te beperken (bijv. bias analyse, 'stopknop' ingebouwd, transparantie over de output).
- Hoe de output van het algoritme moet worden geïnterpreteerd en hoe het algoritme tot deze beslissing is gekomen. Zorg dat de output op een eenduidige manier kan worden geïnterpreteerd.
- Hoe het werkproces kan worden uitgevoerd, zonder ondersteuning van het algoritme.
- Hoe kan je weten dat het systeem niet (meer) goed werkt?
- Welke protocollen er zijn als incidenten zich voordoen.
- Waar je op moet letten om veiligheidsrisico's te verminderen.
- Welke waarschuwingen het systeem kan en zou moeten geven op basis van continue monitoring. Hoe er omgegaan moet worden bij deze waarschuwingen.
Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisniveau nog onvoldoende is om de werkinstructies goed te begrijpen.
Risico
Het algoritme wordt onjuist gebruikt of verkeerd geïnterpreteerd door gebruikers waardoor onjuiste belissingen of besluiten worden genomen. Als gebruikers niet weten hoe ze veilig moeten werken, kunnen ze (onbewust) toegang bieden aan kwaadwillenden.
Bijbehorende vereiste(n)
Bronnen
- Toetsingskader Algoritmes Algemene Rekenkamer, 3.07
- Onderzoekskader Auditdienst Rijk, DM.3, DM.10, DM.12
- Ethics Guidelines of Trustworthy AI
- Handreiking non-discriminatie by design
- Impact Assessment Mensenrechten en Algoritmes
- Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit, College voor de Rechten van de Mens
Voorbeelden
Gemeente Utrecht: Handleiding Generatieve AI
De gemeente Utrecht heeft in April 2024 een handleiding gepubliceerd voor Generatieve AI (GenAI), bijvoorbeeld ChatGPT. Hierin wordt uitgelegd hoe het systeem gebruikt kan worden om zo medewerkers uit te leggen welke risico’s vastzitten aan het gebruik van GenAI. Daarnaast wordt benoemd hoe de beslissingen rondom deze handleiding tot stand zijn gekomen.
Deze handleiding is breed opgesteld en zal dus voor een specifiek algoritme binnen een organisatie aangepast moeten worden. De opzet voor een handleiding staat al en kan ter inspiratie gebruikt worden voor andere handleidingen.
Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl