Fase 7: Monitoring en beheer

In deze fase monitor en beheer je het algoritme of AI-systeem. Dit betekent dat je steeds controleert of het nog presteert zoals verwacht. En of gebruikers ermee kunnen werken. Presteert het algoritme of AI-systeem niet of minder goed, dan los je dit probleem op.

Monitoren

Tijdens het monitoren van het algoritme of AI-systeem let je in elk geval op de volgende punten:

• Technisch: Doet het nog waarvoor het is ontworpen? Oftewel: is het technisch robuust?
• Juridisch: Werkt het nog op een rechtmatige manier?
• Ethisch: Heeft het geen onverwacht nadelig effect op bepaalde mensen of de maatschappij?
• Zijn de omstandigheden nog hetzelfde waarin de organisatie het gebruikt? Data kan bijvoorbeeld veranderen. Of het werkproces zelf verandert door nieuw beleid of nieuwe wet- en regelgeving.

Als blijkt dat het algoritme of AI-systeem niet meer goed functioneert, neem je passende maatregelen.

Beheren

Het is nodig om het algoritme of AI-systeem te beheren om het in de lucht en goed werkend te houden. Het beheerteam zorgt ervoor dat het algoritme of AI-systeem altijd klaar is voor gebruik. Dit team:

• voorkomt storingen, zoals het wegvallen van data door wijzigingen in andere systemen
• lost problemen op, zoals meldingen van gebruikers

Vereisten monitoring en beheer

WetgevingAI-verordeningAVGAWBArchiefwetBZKGrondwet

Vereisten	Wetgeving
Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen	AI-verordening
Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens	AI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen	AI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezicht	AI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig	AI-verordening
Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder	AI-verordening
Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder	AI-verordening
Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in	AI-verordening
De werking van hoog-risico-AI-systemen wordt gemonitord	AI-verordening
Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke	AI-verordening
Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank	AI-verordening
Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten	AI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie	AI-verordening
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen	AI-verordening
Als AI-modellen voor algemene doeleinden met systeemrisico’s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd	AI-verordening
AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallen	AI-verordening
Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem	AI-verordening
Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder	AI-verordening
Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden	AI-verordening
Informatie over algoritmes wordt in goede, geordende en toegankelijke staat gebracht, bewaard en vernietigd wanneer nodig	Archiefwet
Organisaties zijn transparant over het verwerken van persoonsgegevens	AVG
Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit	AWB
Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister	BZK
Algoritmes schenden geen grondrechten of mensenrechten	Grondwet
Algoritmes discrimineren niet	Grondwet

Aanbevolen maatregelen monitoring en beheer

Maatregelen
Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
Controleer en verbeter regelmatig de kwaliteit van het algoritme
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
Gebruik duurzame datacenters
Controleer de data op manipulatie en ongewenste afhankelijkheden
Controleer de input van gebruikers op misleiding
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme
Gebruik een passende licentie bij publicatie of gebruik van (open) data
Controleer regelmatig of het algoritme werkt zoals het bedoeld is
Evalueer de nauwkeurigheid van het algoritme
Toets het algoritme op bias en voer een rechtvaardigingstoets uit
Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
Evalueer de betrouwbaarheid van het algoritme
Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren
Richt bij besluitvorming betekenisvolle menselijke tussenkomst in
Publiceer impactvolle algoritmes en hoog-risico AI-systemen in het Algoritmeregister
Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces
Maak back-ups van algoritmes
Beveilig de software
Maak een noodplan voor beveiligingsincidenten
Maak een evaluatieplan voor tijdens het gebruik van het algoritme
Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
Meten, monitoren en rapporteren van milieu-impact van algoritmes
Stel een plan op voor continue monitoring
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.