Maatregelen

Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.

Alle maatregelen zijn adviezen

De maatregelen zijn niet verplicht. Het zijn adviezen uit:

• Toetsingskader Algoritmes, Algemene Rekenkamer
• Onderzoekskader algoritmes, Auditdienst Rijk
• nationale en internationale standaarden (NEN, JTC21 en ISO)
• onze werkgroepen

Voorbeeld

Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.

Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.

Tip

Aantal maatregelen verschilt per situatie

Welke maatregelen handig zijn in jouw situatie, hangt af van:

• de fase in de levenscyclus van je project
• de vereisten waar jouw organisatie aan moet voldoen
• jouw rol in de organisatie

Tip

Met één maatregel voldoe je soms aan meerdere vereisten.

Overzicht maatregelen

Zoeken

Rollenaanbestedingsjuristaanbiederarchiefdeskundigearchitectbehoeftestellerbeleidsmedewerkercontractbeheerderdata-engineerdata-scientistdomeinspecialistethicusgebruikergemandateerd-verantwoordelijkeinformatie-analistinformatiebeheerderinkoopadviseurjuristopdrachtgeveropdrachtnemerprivacy-officerproceseigenaarprojectleidersecurity-officer

Levenscyclusdataverkenning-en-datapreparatieimplementatiemonitoring-en-beheerontwerpontwikkelenorganisatieverantwoordelijkhedenprobleemanalyseuitfaserenverificatie-en-validatie

Onderwerpenbias-en-non-discriminatiedatafundamentele-rechtengovernancemenselijke-controleprivacy-en-gegevensbeschermingpublieke-inkooptechnische-robuustheid-en-veiligheidtransparantie

id	Maatregelen	Rollen	Levenscyclus	Onderwerpen
	Aansprakelijkheidsvoorwaarden worden beoordeeld in de aanbesteding	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist	probleemanalyse implementatie	publieke-inkoop
	Afwegen grondrechten		probleemanalyse ontwerp verificatie-en-validatie monitoring-en-beheer	fundamentele-rechten
	Archiveren beperkingen openbaarheid	proceseigenaar informatiebeheerder archiefdeskundige jurist	ontwerp ontwikkelen	governance
	Vaststellen bewaartermijnen voor archiefbescheiden	proceseigenaar informatiebeheerder archiefdeskundige	ontwerp ontwikkelen	governance
	Archiefbescheiden zijn duurzaam toegankelijk	proceseigenaar informatiebeheerder archiefdeskundige	ontwikkelen	governance
	Archiefbescheiden vaststellen	proceseigenaar informatiebeheerder archiefdeskundige data-scientist jurist	ontwerp ontwikkelen	governance
	Gebruik aselecte steekproeven als er gebruik gemaakt wordt van risicogestuurde selectie		implementatie monitoring-en-beheer	bias-en-non-discriminatie technische-robuustheid-en-veiligheid
	Maak back-ups van algoritmes	proceseigenaar projectleider informatiebeheerder data-engineer security-officer	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance
	Bepaal welke expertise en capaciteit noodzakelijk is voor het ontwikkelen, inkopen en gebruiken van algoritmes en AI-systemen en stel vast of er voldoende expertise en capaciteit beschikbaar is.	proceseigenaar behoeftesteller beleidsmedewerker inkoopadviseur aanbieder data-scientist data-engineer	organisatieverantwoordelijkheden	governance
	Bepaal de bewaartermijen en richt een vernietigingsprocesdure in voor de verwerkte (persoons)gegevens.	proceseigenaar aanbieder data-engineer data-scientist security-officer	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid privacy-en-gegevensbescherming
	Bepaal of de output bepalende invloed heeft in een besluit richting personen	behoeftesteller proceseigenaar gebruiker inkoopadviseur ethicus jurist	ontwikkelen monitoring-en-beheer	publieke-inkoop
	Bescherm persoonsgegevens die mogen worden verwerkt voor het ontwikkelen en gebruiken van algoritmes en AI-systemen.	proceseigenaar aanbieder data-scientist data-engineer security-officer privacy-officer	ontwerp dataverkenning-en-datapreparatie ontwikkelen	privacy-en-gegevensbescherming technische-robuustheid-en-veiligheid
	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes en AI-systemen en pas een RACI-matrix toe.	proceseigenaar privacy-officer data-scientist data-engineer inkoopadviseur contractbeheerder aanbieder	ontwerp dataverkenning-en-datapreparatie ontwikkelen implementatie monitoring-en-beheer	privacy-en-gegevensbescherming governance
	Bespreek de vereiste met aanbieder of opdrachtnemer	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder opdrachtnemer	ontwerp ontwikkelen	publieke-inkoop
	Betrek belanghebbenden	projectleider	probleemanalyse ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	governance fundamentele-rechten
	Zorg voor een goede beveiliging van een algoritme.	projectleider informatiebeheerder security-officer privacy-officer	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance
	Configuratie met de mens		implementatie	governance menselijke-controle
	Contractuele afspraken over data en artefacten	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder informatiebeheerder	ontwerp monitoring-en-beheer	publieke-inkoop
	Controleren eigen data op schending auteursrechten	proceseigenaar informatiebeheerder jurist	ontwerp dataverkenning-en-datapreparatie	data
	Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.	proceseigenaar behoeftesteller inkoopadviseur aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Data is van voldoende kwaliteit	data-scientist data-engineer	dataverkenning-en-datapreparatie	data
	Het doel voor het verwerken van persoonsgegevens met een algoritme of AI-systeem is welbepaald en omschreven.	proceseigenaar privacy-officer	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie	privacy-en-gegevensbescherming
	Formuleren doelstelling	projectleider opdrachtgever domeinspecialist	probleemanalyse	governance
	Formuleren aanleiding en probleemdefinitie	projectleider opdrachtgever domeinspecialist	probleemanalyse	governance
	Stel vast dat het algoritme voortdurend functioneert in lijn met de vastgestelde doelstelling	opdrachtgever projectleider data-scientist	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid bias-en-non-discriminatie governance
	Verken maatregelen van aanbieder om schending auteursrechten te voorkomen	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder	probleemanalyse implementatie	publieke-inkoop
	Richt een incidentmanagement proces in voor informatiebeveiligingsincidenten	projectleider informatiebeheerder security-officer proceseigenaar	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
	Richt een proces in waarmee betrokkenen hun privacyrechten kunnen inroepen als algoritmes of AI-systemen op basis van deze gegevens worden ontwikkeld of gebruikt.	proceseigenaar aanbieder data-engineer data-scientist privacy-officer	ontwerp ontwikkelen verificatie-en-validatie monitoring-en-beheer	privacy-en-gegevensbescherming
	Kwetsbare groepen in kaart brengen en beschermen	projectleider opdrachtgever ethicus	ontwerp	fundamentele-rechten
	Bewijs laten leveren dat auteursrechten niet worden geschonden met de output	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist gemandateerd-verantwoordelijke	ontwerp monitoring-en-beheer	publieke-inkoop
	Bewijs laten leveren dat auteursrechten niet worden geschonden met de trainingsdata	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp monitoring-en-beheer	publieke-inkoop
	Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving	proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Zorg ervoor dat logbestanden worden gecreëerd waarin informatie wordt geregistreerd over gebruikersactiviteiten, uitzonderingen en informatiebeveiligingsgebeurtenissen	projectleider informatiebeheerder security-officer archiefdeskundige	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance transparantie menselijke-controle
	Maak de vereiste onderdeel van het programma van eisen	proceseigenaar behoeftesteller data-scientist inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Maak de vereiste onderdeel van de contractovereenkomst	behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Maak de vereiste onderdeel van Service Level Agreement	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist data-scientist aanbieder	ontwerp ontwikkelen	publieke-inkoop
	Maak vereisten voor algoritmes en AI-systemen onderdeel van contractvoorwaarden	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Richt (technische) controlemechanismen in voor menselijk tussenkomst waarmee de output van een algoritme of AI-systeem kan worden gecontroleerd.	proceseigenaar gebruiker aanbieder	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	menselijke-controle governance
	Menselijke tussenkomst is een vast onderdeel in een projecptlan of een déchargedocument	behoeftesteller proceseigenaar inkoopadviseur	probleemanalyse ontwikkelen monitoring-en-beheer	governance publieke-inkoop
	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	proceseigenaar privacy-officer inkoopadviseur	ontwerp monitoring-en-beheer	publieke-inkoop privacy-en-gegevensbescherming
	Neem technische documentatie op in het algoritmeregister	proceseigenaar privacy-officer data-scientist data-engineer beleidsmedewerker	ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	transparantie
	Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.	proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Restrisico's met betrekking tot schending auteursrechten zijn inzichtelijk gemaakt	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist	ontwikkelen verificatie-en-validatie	publieke-inkoop
	Bepaal waarom we gebruik willen maken een algoritme	projectleider opdrachtgever domeinspecialist	probleemanalyse	governance
	Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes en AI-systemen.	proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus architect	organisatieverantwoordelijkheden	governance
	Richt een proces in voor een periodieke evaluatie van de kwaliteit van het algoritme of AI-systeem.	proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur contractbeheerder	organisatieverantwoordelijkheden	governance
	Persoonsgegevens die worden verwerkt voor het ontwikkelen en gebruiken van algoritmes en AI-systemen zijn beschreven en onderbouwd.	proceseigenaar informatie-analist data-engineer privacy-officer	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie	privacy-en-gegevensbescherming
	Een politieke-bestuurlijk besluit wordt genomen over het gebruik van een impactvol algoritme en hoog risico AI-systemen.	proceseigenaar beleidsmedewerker privacy-officer aanbieder	organisatieverantwoordelijkheden verificatie-en-validatie	governance transparantie
	Publiceer de ontwikkeling en gebruik van algoritme of AI-systeem in het Algoritmeregister.	proceseigenaar beleidsmedewerker privacy-officer aanbieder	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer uitfaseren	transparantie
	Richt een wijzigingenproces in voor codewijzigingen	projectleider proceseigenaar proceseigenaar data-scientist data-engineer security-officer	ontwerp ontwerp ontwikkelen implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance
	Richt gebruikersbeheer in	projectleider proceseigenaar proceseigenaar informatiebeheerder security-officer	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
	Richt wachtwoordbeheer in	projectleider security-officer	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
	Voer een risico-analyse met de leverancier uit op het gebied van informatiebeveiliging bij een uitbestedingstraject	projectleider informatiebeheerder security-officer proceseigenaar aanbestedingsjurist inkoopadviseur opdrachtnemer behoeftesteller	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance publieke-inkoop
	Garantie in conceptovereenkomst dat aanbieder auteursrechten niet schendt met de output	proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist	ontwikkelen monitoring-en-beheer	publieke-inkoop
	Garantie in conceptovereenkomst dat auteursrechten niet worden geschonden met de trainingsdata	proceseigenaar behoeftesteller inkoopadviseur aanbestedingsjurist contractbeheerder	ontwerp monitoring-en-beheer	publieke-inkoop
	Pas het principe van security by design toe	projectleider informatiebeheerder security-officer	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid governance transparantie menselijke-controle
	Stel archiefbescheiden vast		ontwerp ontwikkelen	publieke-inkoop
	Tref (technische) maatregelen waarmee het gebruik van het algoritme of AI-systeem kan worden stopgezet.	proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur contractbeheerder	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer uitfaseren	governance
	Pas risicobeheer gestructureerd toe voorafgaand en gedurende de ontwikkeling en gebruik van algoritmes en AI-systemen.	proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur	organisatieverantwoordelijkheden	governance
	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	proceseigenaar behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist	ontwerp ontwikkelen	publieke-inkoop
	Uitvoeren risicoanalyse en formuleren mitigerende maatregelen voor privacyrisico's	proceseigenaar data-scientist data-engineer aanbieder privacy-officer security-officer ethicus beleidsmedewerker	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie	privacy-en-gegevensbescherming
	Vul technische documentatie van aanbieder aan met informatie vanuit de gebruiksverantwoordelijke	behoeftesteller inkoopadviseur aanbieder	ontwerp monitoring-en-beheer	publieke-inkoop
	De mate waarin aanbieder kennisoverdracht en ondersteuning bij implementatie biedt is onderdeel van de aanbesteding	proceseigenaar aanbieder behoeftesteller inkoopadviseur contractbeheerder	ontwerp monitoring-en-beheer	publieke-inkoop
	Vaststellen niveau van benodigde training voor gebruik algoritmen en AI-systemen	aanbieder proceseigenaar inkoopadviseur	ontwerp monitoring-en-beheer	publieke-inkoop
	De rollen en verantwoordelijkheden zijn vastgesteld door de verantwoordelijke(n)	proceseigenaar	organisatieverantwoordelijkheden	governance privacy-en-gegevensbescherming
	Stel vast of het gaat om een algoritme en/of AI-systeem en wat de bijbehorende risicoclassificatie is om te bepalen welke vereisten hierop van toepassing zijn.		ontwerp ontwikkelen	publieke-inkoop governance
	Neem de ontwikkeling en gebruik van een algoritme of AI-systeem op in een privacyverklaring als persoonsgegevens worden verwerkt.	proceseigenaar beleidsmedewerker privacy-officer aanbieder	ontwerp ontwikkelen verificatie-en-validatie implementatie uitfaseren	privacy-en-gegevensbescherming
	Neem de ontwikkeling en gebruik van een algoritme of AI-systeem op in het verwerkingsregister als persoonsgegevens worden verwerkt.	proceseigenaar beleidsmedewerker privacy-officer aanbieder	ontwerp ontwikkelen verificatie-en-validatie implementatie monitoring-en-beheer uitfaseren	transparantie privacy-en-gegevensbescherming
	Stel vast dat wetgeving en (lokaal) beleid correct is vertaald naar de uitvoering van het te ondersteunen werkproces en de onderliggende systemen.	proceseigenaar beleidsmedewerker informatie-analist jurist ethicus data-engineer data-scientist	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie	governance transparantie
	Voer een biasanalyse uit	ethicus data-scientist opdrachtgever projectleider jurist domeinspecialist	ontwerp verificatie-en-validatie monitoring-en-beheer	bias-en-non-discriminatie
	Voer voorafgaand aan een aanbesteding een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.	proceseigenaar behoeftesteller informatie-analist data-scientist inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder opdrachtnemer architect	ontwerp ontwikkelen	publieke-inkoop data
	Voer een Project Startarchitectuur (PSA) uit als algoritmes of AI-systemen worden ontwikkeld of ingekocht.	proceseigenaar informatie-analist data-engineer privacy-officer security-officer inkoopadviseur architect	ontwerp ontwikkelen verificatie-en-validatie implementatie	privacy-en-gegevensbescherming

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.