Ga naar inhoud

Controleer regelmatig of het algoritme werkt zoals het bedoeld is

ver-01OntwikkelenVerificatie en validatieMonitoring en beheerProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie

Maatregel

Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling.

Toelichting

  • Vertaal de vastgestelde doelstelling naar functionele eisen voor het algoritme. Werk het vastgestelde doel uit in een beschrijving in logische taal/ pseudo code of documentatie die handvatten biedt aan de ontwikkelaar.
  • Monitor de mate waarin aan deze eisen wordt voldaan door het algoritme.
  • Bepaal en leg vast hoe eventuele parameters, business rules en indicatoren bepaald worden. Zorg dat dit breed wordt afgestemd in de organisatie (ontwikkelteam, opdrachtgevers en beheer).
  • Houd hier rekening met eventuele (statistische) bias: meten we daadwerkelijk wat we denken te meten?
  • Wanneer het algoritme meerdere doelen dient, is het belangrijk ook te evalueren op meerdere functionele eisen.
  • Wanneer er sprake is van een (handmatige) behandeling, bepaal dan wanneer deze behandeling als 'succesvol' gezien kan worden.

Risico

Het algoritme functioneert niet in lijn met geformuleerde doelstellingen.

Bijbehorende vereiste(n)

Bekijk alle vereisten
Vereiste
awb-01 - Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig
aia-10 - Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig

Bronnen

Voorbeelden

Belastingdienst – Signaal Omzetbelasting Grote Ondernemingen

De Belastingdienst controleert aangiftes, waaronder omzetbelasting voor grote ondernemingen. Dit doen ze met behulp van het algoritme Signaalmodel OB GO (SOB GO), dat een risicobeoordeling geeft aan aangiftes die hieronder vallen. Het algoritme is intern ontwikkeld en wordt ook intern onderhouden en gecontroleerd. Dit gebeurt onder andere aan de hand van de bedrijfsregels binnen de Belastingdienst en een kwaliteitsframework.

De bedrijfsregels worden jaarlijks geëvalueerd, waarbij ook resultaten uit een steekproef van de aangiften worden meegenomen. Het kwaliteitsframework bestaat uit regels en afspraken die gevolgd moeten worden bij het ontwikkelen van algoritmes, waaronder SOB GO. Dit framework wordt op vaste momenten gebruikt om te kijken of SOB GO nog steeds aan de kwaliteitseisen voldoet.

Bron: Signaalmodel Omzetbelasting Grote Ondernemingen (SOB GO) - Belastingdienst

Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl