Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-01OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie
Maatregel
Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling.
Toelichting
- Vertaal de vastgestelde doelstelling naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/pseudo code of documentatie die handvatten biedt aan de ontwikkelaar.
- Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme.
- Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
- Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten?
- Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen.
- Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden.
Bijbehorende vereiste(n)
Risico
Het algoritme functioneert niet in lijn met geformuleerde doelstellingen.
Bronnen
- Toetsingskader Algoritmes Algemene Rekenkamer, 2.01, 2.07
- Impact Assessment Mensenrechten en Algoritmes, 1
- Onderzoekskader Algoritmes Auditdienst Rijk, DM.1, DM.4
Voorbeeld
Heb jij een goed voorbeeld? Laat het ons weten!