Ga naar inhoud

Richt een proces in voor een periodieke evaluatie van de kwaliteit van het algoritme of AI-systeem.

OrganisatieverantwoordelijkhedenProceseigenaarBeleidsmedewerkerData engineerData scientistInformatiebeheerderPrivacy officerSecurity officerEthicusInkoopadviseurContractbeheerderGovernance

Maatregel

Richt een proces in voor een periodieke evaluatie van de kwaliteit van het algoritme of AI-systeem.

Toelichting

  • Het is van belang dat een proces wordt ingericht waarmee periodiek de kwaliteit van algoritmes of AI-systemen wordt geëvalueerd.
  • Bij kwaliteit van een algoritme of AI-systeem kan worden gedacht aan doeltreffenheid, doelmatigheid, betrouwbaarheid en accuraatheid (geschiktheid) en non-discriminatie.
  • Hieronder vallen het analyseren en evalueren van ingediende klachten en incidenten.
  • Na verloop van tijd kan de accuraatheid van machine learning modellen bijvoorbeeld wijzigen of kan het gebeuren dat bepaalde groepen (indien van toepassing) anders worden behandeld.
  • Het is van belang dat monitoringsactiviteiten worden ingericht om deze kwaliteitsaspecten tijdig te beoordelen.
  • Als er ongewenste wijzigingen plaatsvinden met betrekking tot de kwaliteit, moeten die worden geëvalueerd en zullen maatregelen moeten worden getroffen om deze te herstellen.
  • Het proces moet er voor zorgen dat de juiste experts of stakeholders worden betrokken bij het proces van evaluatie en het treffen van passende maatregelen.

Let op! Sommige maatregelen in het Algoritmekader gaan dieper in op het uitvoeren van risicoanalyses.

Risico

Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, beheersing en verantwoording mogelijk als er ongewenste wijzigingen plaatsvinden in het algoritme of AI-systeem.

Bijbehorende vereiste(n)

Vereiste
awb-01 - Relevante feiten en belangen zijn bekend
aia-11 - Kwaliteitsbeheersysteem voor hoog-risico AI
aia-05 - Data van hoog-risico ai moet voldoen aan kwaliteitscriteria
grw-01 - Beschermen van fundamentele rechten en vrijheden
aia-29 - Beoordeling van grondrechten
grw-02 - AI-systemen en algoritmes mogen niet discrimineren
aut-01 - Auteursrechten mogen niet worden geschonden
aia-19 - Aanbieders van AI-systemen met een hoog risico zorgen voor toegankelijkheidseisen
aia-09 - Toezichtmogelijkheden voor gebruikers
avg-04 - Proportionaliteit en subsidiariteit
dat-01 - Verbod op schenden databankenrechten
aia-23 - Natuurlijke personen die menselijk toezicht uitvoeren zijn bekwaam, opgeleid, beschikken over autoriteit en krijgen ondersteuning
aia-24 - Gebruiksverantwoordelijken monitoren werking hoog risico AI-systeem
avg-05 - Juistheid en actualiteit van gegevens
aia-19 - Aanbieders van AI-systemen met een hoog risico zorgen voor toegankelijkheidseisen

Bronnen

Bron
Onderzoekskader Algoritmes Auditdienst Rijk, SV.16, SV.17
Toetsingskader Algoritmes Algemene Rekenkamer, 1.08
Algoritmekader

Voorbeeld

Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl