Verificatie en validatie

Bij de verificatie en validatie van het algoritme of AI-systeem dient bepaald te worden of het algoritme of AI-systeem gebouwd is volgens de (technische) specificaties en voldoet aan de beoogde doelstellingen. Hiervoor moeten technische, maar ook organisatorische maatregelen worden getroffen.

Bij verificatie kan worden gedacht aan het (laten) controleren of het algoritme of AI-systeem voldoet aan de (technische) specificaties, bijvoorbeeld door een interne of externe audit of in de toekomst een conformiteitsbeoordeling voor hoog risico AI-systemen. Hiermee kan (onafhankelijk) worden vastgesteld of het systeem voldoet aan de vereisten die organisaties daaraan stellen. Op basis van bevindingen uit een audit of conformiteitsbeoordeling, is het denkbaar dat het ontwikkelteam nog bepaalde maatregelen moet treffen om te voldoen aan de specificaties.

Bij het valideren van een algoritme of AI-systeem moet worden bepaald of het goed genoeg presteert en of het geschikt is voor het beoogde doel van het systeem. Wanneer het een AI-systeem betreft, is het belangrijk dat dit gevalideerd wordt op nieuwe, niet eerder geziene data. Het valideren betreft het iteratief evalueren van de nauwkeurigheid en prestaties van het systeem. Daarnaast is het ook belangrijk om te valideren of het algoritme gelijke prestaties toont voor verschillende groepen en om te testen hoe het algoritme presteert in uitzonderlijke gevallen. Het is net als in de ontwerpfase belangrijk dat een multidisciplinair team beoordeelt of de werking passend en bijvoorbeeld non-discriminatoir is. In het geval van impactvolle algoritmen of hoog risico AI-systemen, is het raadzaam om een onafhankelijke commissie of partij te betrekken die een advies geeft over de werking van het algoritme of AI-systeem.

In praktijk zal vaak na validatie weer worden teruggegaan naar de ontwikkelfase om prestaties van het model te verbeteren voorafgaand aan implementatie van de oplossing. Het is ook denkbaar dat het algoritme of AI-systeem onvoldoende aansluit bij de doelstellingen en het gebruik ervan moet wordt beëindigd. Een andere conclusie kan zijn dat het presteert conform verwachting en naar de implementatiefase kan worden gegaan.

Vereisten¶

id	Vereisten
aia-02	Documentatie beoordeling niet-hoog-risico AI
aia-05	Data van hoog-risico ai moet voldoen aan kwaliteitscriteria
aia-06	Technische documentatie voor hoog-risico AI
aia-10	Ontwerp voor nauwkeurigheid, robuustheid en cyberbeveiliging
aia-13	Bewaartermijn voor gegenereerde logs
aia-14	Aanbieders van AI-systemen met een hoog risico voeren een conformiteitsbeoordelingsprocedure uit
aia-15	Aanbieders van AI-systemen met een hoog risico stellen een EU-conformiteitsverklaring op
aia-16	Aanbieders van AI-systemen met een hoog risico voegen een CE-markering toe aan het AI-systeem
aia-17	Registratieverplichtingen voor aanbieders van AI-systemen met een hoog risico
aia-19	Aanbieders van AI-systemen met een hoog risico zorgen voor toegankelijkheidseisen
aia-29	Beoordeling van grondrechten
aia-31	Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden
aia-32	Aanvullende verplichtingen voor aanbieders van AI-modellen met systeemrisico
aia-33	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico houden relevante informatie over ernstige incidenten bij
avg-06	Verantwoordingsplicht voor de rechtmatigheid van de verwerking
avg-07	Transparantie bij verwerking persoonsgegevens
avg-13	Een DPIA is verplicht bij hoog risico voor de rechten en vrijheden van natuurlijke personen
grw-01	Beschermen van fundamentele rechten en vrijheden
grw-02	AI-systemen en algoritmes mogen niet discrimineren

Maatregelen¶

id	Maatregelen
	Afwegen grondrechten
	Maak back-ups van algoritmes
	Bepaal de bewaartermijen en richt een vernietigingsprocesdure in voor de verwerkte (persoons)gegevens.
	Betrek belanghebbenden
	Zorg voor een goede beveiliging van een algoritme.
	Het doel voor het verwerken van persoonsgegevens met een algoritme of AI-systeem is welbepaald en omschreven.
	Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling
	Richt een proces in waarmee betrokkenen hun privacyrechten kunnen inroepen als algoritmes of AI-systemen op basis van deze gegevens worden ontwikkeld of gebruikt.
	Zorg ervoor dat logbestanden worden gecreëerd waarin informatie wordt geregistreerd over gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen
	Richt (technische) controlemechanismen in voor menselijk tussenkomst waarmee de output van een algoritme of AI-systeem kan worden gecontroleerd.
	Neem technische documentatie op in het algoritmeregister
	Restrisico's met betrekking tot schending auteursrechten zijn inzichtelijk gemaakt
	Persoonsgegevens die worden verwerkt voor het ontwikkelen en gebruiken van algoritmes en AI-systemen zijn beschreven en onderbouwd.
	Een politieke-bestuurlijk besluit wordt genomen over het gebruik van een impactvol algoritme en hoog risico AI-systemen.
	Publiceer de ontwikkeling en gebruik van algoritme of AI-systeem in het Algoritmeregister.
	Voer een risico-analyse met de leverancier uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
	Pas het principe van security by design toe
	Tref (technische) maatregelen waarmee het gebruik van het algoritme of AI-systeem kan worden stopgezet.
	Uitvoeren risicoanalyse en formuleren mitigerende maatregelen voor privacyrisico's
	Neem de ontwikkeling en gebruik van een algoritme of AI-systeem op in een privacyverklaring als persoonsgegevens worden verwerkt.
	Neem de ontwikkeling en gebruik van een algoritme of AI-systeem op in het verwerkingsregister als persoonsgegevens worden verwerkt.
	Stel vast dat wetgeving en (lokaal) beleid correct is vertaald naar de uitvoering van het te ondersteunen werkproces en de onderliggende systemen.
	Voer een biasanalyse uit
	Voer een Project Startarchitectuur (PSA) uit als algoritmes of AI-systemen worden ontwikkeld of ingekocht.

Disclaimer

Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.