Fase 7: Monitoring en beheer

Het algoritme wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme.

Het is van belang dat beheer wordt uitgevoerd over het algoritme, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.

Vereisten

id	Vereisten
aia-04	Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen.
aia-07	Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens.
aia-08	Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen.
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht.
aia-10	Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig.
aia-12	Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder.
aia-13	Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder.
aia-18	Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in.
aia-22	De werking van hoog-risico-AI-systemen wordt gemonitord.
aia-23	Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke.
aia-25	Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank.
aia-26	Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten
aia-29	AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie.
aia-30	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen.
aia-31	Als AI-modellen voor algemene doeleinden met systeemrisico’s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd.
aia-32	AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallen.
aia-34	Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem.
aia-35	Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder.
aia-36	Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening.
aia-38	Hoog-risico-AI-systemen zijn getest.
aia-39	Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden.
arc-01	Informatie over algoritmes wordt in goede, geordende en toegankelijke staat gebracht, bewaard en vernietigd wanneer nodig.
avg-07	Organisaties zijn transparant over het verwerken van persoonsgegevens
awb-02	Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit
bzk-01	Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister
grw-01	Algoritmes schenden geen grondrechten of mensenrechten.
grw-02	Algoritmes discrimineren niet.

Aanbevolen maatregelen

id	Maatregelen
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
owp-07	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-14	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
owp-17	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.
dat-03	Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
dat-06	Gebruik duurzame datacenters
dat-11	Controleer de data op manipulatie en ongewenste afhankelijkheden
dat-12	Controleer de input van gebruikers op misleiding
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
owk-04	Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
owk-09	Zorg dat er (gevoelige) informatie niet kan lekken op basis van de output van het algoritme.
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-02	Evalueer de nauwkeurigheid van het algoritme
ver-03	Toets het algoritme op bias
ver-05	Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
ver-06	Evalueer de betrouwbaarheid van het algoritme
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren
imp-03	Richt de juiste menselijke controle in van het algoritme
imp-04	Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister
imp-07	Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.
mon-01	Maak back-ups van algoritmes
mon-02	Beveilig de software
mon-03	Maak een noodplan voor beveiligingsincidenten
mon-05	Maak een evaluatieplan voor tijdens het gebruik van het algoritme
mon-05	Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
mon-06	Meten, monitoren en rapporteren van milieu-impact van algoritmes
mon-07	Stel een plan op voor continue monitoring
mon-08	Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.