Fase 7: Monitoring en beheer

Het algoritme wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme.

Het is van belang dat beheer wordt uitgevoerd over het algoritme, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.

Vereisten

WetgevingAI-verordeningAVGAWBArchiefwetBZKGrondwet

Vereisten	Wetgeving
Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen	AI-verordening
Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens	AI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen	AI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezicht	AI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig	AI-verordening
Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder	AI-verordening
Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder	AI-verordening
Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in	AI-verordening
De werking van hoog-risico-AI-systemen wordt gemonitord	AI-verordening
Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke	AI-verordening
Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank	AI-verordening
Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten	AI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie	AI-verordening
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen	AI-verordening
Als AI-modellen voor algemene doeleinden met systeemrisico’s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd	AI-verordening
AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallen	AI-verordening
Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem	AI-verordening
Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder	AI-verordening
Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden	AI-verordening
Informatie over algoritmes wordt in goede, geordende en toegankelijke staat gebracht, bewaard en vernietigd wanneer nodig	Archiefwet
Organisaties zijn transparant over het verwerken van persoonsgegevens	AVG
Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit	AWB
Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister	BZK
Algoritmes schenden geen grondrechten of mensenrechten	Grondwet
Algoritmes discrimineren niet	Grondwet

Aanbevolen maatregelen

Maatregelen
Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
Controleer en verbeter regelmatig de kwaliteit van het algoritme
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
Gebruik duurzame datacenters
Controleer de data op manipulatie en ongewenste afhankelijkheden
Controleer de input van gebruikers op misleiding
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme
Gebruik een passende licentie bij publicatie of gebruik van (open) data
Controleer regelmatig of het algoritme werkt zoals het bedoeld is
Evalueer de nauwkeurigheid van het algoritme
Toets het algoritme op bias en voer een rechtvaardigingstoets uit
Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
Evalueer de betrouwbaarheid van het algoritme
Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren
Richt de juiste menselijke controle in van het algoritme
Publiceer impactvolle algoritmes en hoog-risico AI-systemen in het Algoritmeregister
Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces
Maak back-ups van algoritmes
Beveilig de software
Maak een noodplan voor beveiligingsincidenten
Maak een evaluatieplan voor tijdens het gebruik van het algoritme
Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
Meten, monitoren en rapporteren van milieu-impact van algoritmes
Stel een plan op voor continue monitoring
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.