Fase 5: Verificatie en validatie

In deze fase beoordeel en verbeter je het algoritme of AI-systeem. Je start een verificatieproces waarin je alle specificaties controleert. En je start een validatieproces waarin je de afgesproken doelen naloopt. Je neemt maatregelen als dat nodig is.

Taken verificatie

Tijdens het verificatieproces controleer je of het algoritme of AI-systeem voldoet aan alle specificaties. Hiermee stel je vast of alle eigenschappen uit de ontwerpfase daadwerkelijk technisch worden bereikt.

Zo’n controle voer je bijvoorbeeld uit via een:

• interne audit
• externe audit
• conformiteitsbeoordeling voor hoog risico-AI-systemen

Misschien moet je maatregelen nemen op basis van de conclusies.

Taken validatie

Tijdens het validatieproces bepaalt een multidisciplinair team of het algoritme of AI-systeem:

• goed genoeg presteert
• geschikt is voor het doel van het systeem

Hiervoor gebruik je nieuwe data, die het systeem nog niet kent.

Het multidisciplinaire team evalueert de nauwkeurigheid en prestaties van het algoritme of AI-systeem steeds opnieuw:

• Presteert het gelijk voor verschillende groepen? Of maakt het een ongewenst onderscheid?
• Presteert het ook goed bij uitzonderlijke gevallen en in abnormale situaties?

Bij verificatie kan worden gedacht aan het (laten) controleren of het algoritme voldoet aan de (technische) specificaties, validiteit en betrouwbaarheid, bijvoorbeeld door een interne of externe audit of in de toekomst een conformiteitsbeoordeling voor hoog risico AI-systemen. Hiermee kan (onafhankelijk) worden vastgesteld of het systeem voldoet aan de vereisten die organisaties daaraan stellen. Op basis van bevindingen uit een audit of conformiteitsbeoordeling, is het denkbaar dat het ontwikkelteam nog bepaalde maatregelen moet treffen om te voldoen aan de specificaties.

Blijkt het model niet goed of ongeschikt, dan doorloop je opnieuw de ontwikkelfase om de prestaties te verbeteren. Of je stopt ermee en gaat het model uitfaseren.

Presteert het model volgens verwachting, dan kun je het gaan implementeren.

Vereisten voor verificatie en validatie

WetgevingAI-verordeningAVGAWBGrondwet

Vereisten	Wetgeving
Datasets voor hoog-risico-AI-systemen voldoen aan kwaliteitscriteria	AI-verordening
Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie	AI-verordening
Hoog-risico-AI-systemen worden pas geleverd of gebruikt na een conformiteitsbeoordelingsprocedure	AI-verordening
Hoog-risico-AI-systemen zijn voorzien van een EU-conformiteitsverklaring	AI-verordening
Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten	AI-verordening
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen	AVG
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig	AWB
Algoritmes schenden geen grondrechten of mensenrechten	Grondwet
Algoritmes discrimineren niet	Grondwet

Aanbevolen maatregelen voor verificatie en validatie

Maatregelen
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output
Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output
Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor het beoogde algoritme
Controleer regelmatig of het algoritme werkt zoals het bedoeld is
Evalueer de nauwkeurigheid van het algoritme
Toets het algoritme op bias en voer een rechtvaardigingstoets uit
Zorg voor een representatieve testomgeving
Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
Evalueer de betrouwbaarheid van het algoritme
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.