Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-01OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie
Maatregel
Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling.
Toelichting
- Vertaal de vastgestelde doelstelling naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar.
- Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme.
- Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
- Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten?
- Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen.
- Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden.
Bijbehorende vereiste(n)
| Vereiste |
|---|
| awb-01 - Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk |
| aia-10 - Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig |
Risico
Het algoritme functioneert niet in lijn met geformuleerde doelstellingen.
Bronnen
- Toetsingskader Algoritmes Algemene Rekenkamer, 2.01, 2.07
- Impact Assessment Mensenrechten en Algoritmes, 1
- Onderzoekskader Algoritmes Auditdienst Rijk, DM.1, DM.4
Voorbeeld
Heb jij een goed voorbeeld? Laat het ons weten!