Monitoring en beheer

Het algoritme of AI-systeem wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme of AI-systeem wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme of AI-systeem.

Het is van belang dat beheer wordt uitgevoerd over het algoritme of AI-systeem, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme of AI-systeem niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.

Vereisten

id	Vereisten
aia-04	Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen
aia-07	Hoog-risico AI-systemen loggen automatisch bepaalde gegevens
aia-08	Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht
aia-10	Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig
aia-12	Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder
aia-13	Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder
aia-18	Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
aia-22	De werking van hoog-risico-AI-systemen wordt gemonitord
aia-23	Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke
aia-25	Gebruiksverantwoordelijken controleren de registratie van het hoog-risico AI-systeem in de EU-databank
aia-28	Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten
aia-29	AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie
aia-30	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen
aia-31	Als AI-modellen voor algemene doeleinden met systeemrisico’s ernstige incidenten veroorzaken, wordt dit gedocumenteerd en gerapporteerd
aia-32	AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallen
aia-34	Hoog-risico-AI-systemen zijn voorzien van een monitoringsysteem
aia-35	Ernstige incidenten door hoog-risico-AI-systemen worden gemeld aan de toezichthouder
aia-36	Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening
arc-01	Informatie over algoritmes wordt gedocumenteerd volgens de Archiefwet
avg-07	Organisaties zijn transparant over het verwerken van persoonsgegevens
awb-02	Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit
bzk-01	Impactvolle algoritmes en hoog-risico-AI-systemen staan in het Nederlandse Algoritmeregister
grw-01	Algoritmes schenden geen grondrechten of mensenrechten
grw-02	Algoritmes discrimineren niet

Maatregelen

id	Maatregelen
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
owp-06	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-09	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
owp-14	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.
dat-04	Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
dat-07	Gebruik duurzame datacenters
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
owk-04	Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-01	Toets het algoritme op bias
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren
imp-03	Organiseer menselijke controle van het algoritme
imp-04	Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister
imp-09	Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.
mon-01	Maak back-ups van algoritmes
mon-02	Beveilig de software
mon-03	Maak een noodplan voor beveiligingsincidenten
mon-04	Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
mon-05	Meten, monitoren en rapporteren van milieu-impact van algoritmes

Disclaimer

Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.