Fase 5: Verificatie en validatie

Bij de verificatie en validatie van het algoritme dient bepaald te worden of het algoritme gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen. Hiervoor moeten technische, maar ook organisatorische maatregelen worden getroffen.

Bij verificatie kan worden gedacht aan het (laten) controleren of het algoritme voldoet aan de (technische) specificaties, bijvoorbeeld door een interne of externe audit of in de toekomst een conformiteitsbeoordeling voor hoog risico AI-systemen. Hiermee kan (onafhankelijk) worden vastgesteld of het systeem voldoet aan de vereisten die organisaties daaraan stellen. Op basis van bevindingen uit een audit of conformiteitsbeoordeling, is het denkbaar dat het ontwikkelteam nog bepaalde maatregelen moet treffen om te voldoen aan de specificaties.

Bij het valideren van een algoritme moet worden bepaald of het goed genoeg presteert en of het geschikt is voor het beoogde doel van het systeem. Wanneer het een AI-systeem betreft, is het belangrijk dat dit gevalideerd wordt op nieuwe, niet eerder geziene data. Het valideren betreft het iteratief evalueren van de nauwkeurigheid en prestaties van het systeem. Daarnaast is het ook belangrijk om te valideren of het algoritme gelijke prestaties toont voor verschillende groepen en om te testen hoe het algoritme presteert in uitzonderlijke gevallen. Het is net als in de ontwerpfase belangrijk dat een multidisciplinair team beoordeelt of de werking passend en bijvoorbeeld non-discriminatoir is. In het geval van impactvolle algoritmen of hoog risico AI-systemen, is het raadzaam om een onafhankelijke commissie of partij te betrekken die een advies geeft over de werking van het algoritme of AI-systeem.

In praktijk zal vaak na validatie weer worden teruggegaan naar de ontwikkelfase om prestaties van het model te verbeteren voorafgaand aan implementatie van de oplossing. Het is ook denkbaar dat het algoritme onvoldoende aansluit bij de doelstellingen en het gebruik ervan moet wordt beëindigd. Een andere conclusie kan zijn dat het presteert conform verwachting en naar de implementatiefase kan worden gegaan.

Vereisten

id	Vereisten
aia-05	Datasets voor hoog-risico-AI-systemen voldoen aan kwaliteitscriteria
aia-06	Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie.
aia-14	Hoog-risico-AI-systemen worden pas geleverd of gebruikt na een conformiteitsbeoordelingsprocedure.
aia-15	Hoog-risico-AI-systemen zijn voorzien van een EU-conformiteitsverklaring.
aia-27	Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten
aia-30	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen.
aia-38	Hoog-risico-AI-systemen zijn getest.
avg-13	Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.
awb-01	Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.
grw-01	Algoritmes schenden geen grondrechten of mensenrechten.
grw-02	Algoritmes discrimineren niet.

Aanbevolen maatregelen

id	Maatregelen
owp-03	Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
owp-07	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-10	Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
owp-19	Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.
owp-37	Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output.
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-02	Evalueer de nauwkeurigheid van het algoritme
ver-03	Toets het algoritme op bias
ver-04	Zorg voor een representatieve testomgeving
ver-05	Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
ver-06	Evalueer de betrouwbaarheid van het algoritme
mon-08	Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.