Monitoring en beheer

Het algoritme of AI-systeem wordt in deze fase voortdurend gemonitord om ervoor te zorgen dat het blijft presteren zoals verwacht en kan worden gebruikt door gebruikers. Eventuele afwijkingen of degradatie van prestaties worden gesignaleerd en er worden maatregelen getroffen om dit te herstellen. Dit is van belang vanuit een technisch perspectief (presteert het model nog wel waar het voor ontworpen is), maar ook vanuit een juridische en ethische blik (functioneert het model nog wel rechtmatig en zijn er geen onvoorziene nadelige effecten op mens en maatschappij). Hierbij dient ook voortdurend gemonitord te worden of de omstandigheden waarin het algoritme of AI-systeem wordt gebruikt veranderlijk zijn, en of daar op geanticipeerd moet worden. Dit kan bijvoorbeeld spelen bij veranderende data of bij het uitvoeren van nieuw beleid of wet- en regelgeving in het werkproces dat wordt ondersteund met het algoritme of AI-systeem.

Het is van belang dat beheer wordt uitgevoerd over het algoritme of AI-systeem, zodat de (gehele) oplossing operationeel blijft. Een wijziging in onderliggende systemen kan er bijvoorbeeld voor zorgen dat het algoritme of AI-systeem niet meer wordt voorzien van de noodzakelijk data om de benodigde output te genereren. Het beheerteam zorgt ervoor dat dergelijke situaties worden voorkomen of opgelost. Er kunnen ook incidenten worden gemeld door gebruikers die worden opgelost door het beheerteam.

Vereisten

id	Vereisten
aia-06	Technische documentatie voor hoog-risico AI
aia-07	Automatische logregistratie voor hoog-risico AI
aia-08	Transparantie in ontwerp voor hoog-risico AI
aia-09	Toezichtmogelijkheden voor gebruikers
aia-10	Ontwerp voor nauwkeurigheid, robuustheid en cyberbeveiliging
aia-12	Hoog risico ai systemen voldoen aan bewaartermijn voor documentatie
aia-13	Bewaartermijn voor gegenereerde logs
aia-19	Aanbieders van AI-systemen met een hoog risico zorgen voor toegankelijkheidseisen
aia-21	Aanbieders van AI-systemen met een hoog risico kunnen aantonen dat het AI-systeem in overeenstemming is met de vereisten uit de AI-verordening
aia-23	Natuurlijke personen die menselijk toezicht uitvoeren zijn bekwaam, opgeleid, beschikken over autoriteit en krijgen ondersteuning
aia-24	Gebruiksverantwoordelijken monitoren werking hoog risico AI-systeem
aia-27	Gebruiksverantwoordelijken, zijnde overheidsinstanties of instellingen, organen of instanties van de Unie, leven de registratieverplichting na als het gaat om een hoog risico AI-systeem
aia-28	Recht op uitleg AI-besluiten
aia-29	Beoordeling van grondrechten
aia-30	Transparantieverplichtingen
aia-31	Verplichtingen van aanbieders van AI-modellen voor algemene doeleinden
aia-32	Aanvullende verplichtingen voor aanbieders van AI-modellen met systeemrisico
aia-33	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico houden relevante informatie over ernstige incidenten bij
aia-34	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico zorgen voor passend niveau van cyberbeveiliging
aia-36	Monitoring na het in handel brengen
aia-37	Melden van ernstige incidenten
aia-38	Veilig melden van inbreuk op AI verordening
arc-01	De archiefwet is ook van toepassing op algoritmes en AI-systemen
avg-06	Verantwoordingsplicht voor de rechtmatigheid van de verwerking
avg-07	Transparantie bij verwerking persoonsgegevens
avg-10	Recht op niet geautomatiseerde besluitvorming
bzk-01	Impactvolle algoritmes worden gepubliceerd in het Nederlandse algoritmeregister
grw-01	Beschermen van fundamentele rechten en vrijheden
grw-02	AI-systemen en algoritmes mogen niet discrimineren

Maatregelen

id	Maatregelen
	Afwegen grondrechten
	Gebruik aselecte steekproeven als er gebruik gemaakt wordt van risicogestuurde selectie
	Maak back-ups van algoritmes
	Bepaal de bewaartermijen en richt een vernietigingsprocesdure in voor de verwerkte (persoons)gegevens.
	Bepaal of de output bepalende invloed heeft in een besluit richting personen
	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes en AI-systemen en pas een RACI-matrix toe.
	Betrek belanghebbenden
	Zorg voor een goede beveiliging van een algoritme.
	Contractuele afspraken over data en artefacten
	Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling
	Richt een proces in waarmee betrokkenen hun privacyrechten kunnen inroepen als algoritmes of AI-systemen op basis van deze gegevens worden ontwikkeld of gebruikt.
	Bewijs laten leveren dat auteursrechten niet worden geschonden met de output
	Bewijs laten leveren dat auteursrechten niet worden geschonden met de trainingsdata
	Zorg ervoor dat logbestanden worden gecreëerd waarin informatie wordt geregistreerd over gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen
	Richt (technische) controlemechanismen in voor menselijk tussenkomst waarmee de output van een algoritme of AI-systeem kan worden gecontroleerd.
	Menselijke tussenkomst is een vast onderdeel in een projecptlan of een déchargedocument
	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
	Neem technische documentatie op in het algoritmeregister
	Publiceer de ontwikkeling en gebruik van algoritme of AI-systeem in het Algoritmeregister.
	Richt een wijzigingenproces in voor codewijzigingen
	Voer een risico-analyse met de leverancier uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
	Garantie in conceptovereenkomst dat aanbieder auteursrechten niet schendt met de output
	Garantie in conceptovereenkomst dat auteursrechten niet worden geschonden met de trainingsdata
	Pas het principe van security by design toe
	Tref (technische) maatregelen waarmee het gebruik van het algoritme of AI-systeem kan worden stopgezet.
	Vul technische documentatie van aanbieder aan met informatie vanuit de gebruiksverantwoordelijke
	De mate waarin aanbieder kennisoverdracht en ondersteuning bij implementatie biedt is onderdeel van de aanbesteding
	Vaststellen niveau van benodigde training voor gebruik algoritmen en AI-systemen
	Neem de ontwikkeling en gebruik van een algoritme of AI-systeem op in het verwerkingsregister als persoonsgegevens worden verwerkt.
	Voer een biasanalyse uit

Disclaimer

Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.