Maatregelen

Overzicht van aanbevolen maatregelen voor verantwoord gebruik van algoritmes en AI-systemen. Het zijn adviezen om te voldoen aan de vereisten voor overheden. Andere maatregelen zijn ook mogelijk.

Overzicht maatregelen

Zoeken

Rollenbeleid-en-adviesjuristontwikkelaarprojectleider

Levenscyclusdataverkenning-en-datapreparatieimplementatiemonitoring-en-beheerontwerpontwikkelenorganisatieverantwoordelijkhedenprobleemanalyseuitfaserenverificatie-en-validatie

Onderwerpenbias-en-non-discriminatiedataduurzaamheidfundamentele-rechtengovernancemenselijke-controleprivacy-en-gegevensbeschermingpublieke-inkooptechnische-robuustheid-en-veiligheidtransparantie

id	Maatregelen	Rollen	Levenscyclus	Onderwerpen
org-01	Bepaal of er genoeg experts beschikbaar zijn	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-02	Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie.	beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
org-03	Maak een plan voor het omgaan met risico’s	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-04	Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid.	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
org-05	Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie.	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-06	Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staat	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-07	Richt een algoritmegovernance in met three lines of defence	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-08	Maak gebruik van beslismomenten in de algoritmelevenscyclus	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-09	Richt algoritmegovernance op basis van de risicoclassificatie van algoritmes.	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-10	Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernance	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-11	Maak afspraken over het beheer van gebruikers	projectleider beleid-en-advies	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme	projectleider beleid-en-advies	organisatieverantwoordelijkheden monitoring-en-beheer	governance menselijke-controle
org-13	Maak afspraken over het beheer van wachtwoorden	projectleider ontwikkelaar	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-14	Maak afspraken over het wijzigen van de code	projectleider ontwikkelaar	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-15	Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe.	projectleider beleid-en-advies	organisatieverantwoordelijkheden implementatie	bias-en-non-discriminatie
pba-01	Beschrijf het probleem dat het algoritme moet oplossen	projectleider	probleemanalyse	governance transparantie
pba-02	Beschrijf het doel van het algoritme	projectleider	probleemanalyse	governance transparantie
pba-03	Beschrijf waarom een algoritme het probleem moet oplossen	projectleider	probleemanalyse	governance menselijke-controle
pba-04	Overleg regelmatig met belanghebbenden	projectleider	probleemanalyse ontwerp implementatie	governance fundamentele-rechten
pba-05	Beschrijf de wettelijke grondslag voor de inzet van het algoritme	jurist	probleemanalyse	governance transparantie
pba-06	Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes.	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes	projectleider	ontwerp implementatie monitoring-en-beheer	governance
owp-11	Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.	projectleider beleid-en-advies	ontwerp	publieke-inkoop data
owp-03	Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag	projectleider jurist	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie	privacy-en-gegevensbescherming
owp-04	Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing	ontwikkelaar	ontwerp	technische-robuustheid-en-veiligheid
owp-05	Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horen	projectleider beleid-en-advies	ontwerp ontwikkelen	publieke-inkoop governance
owp-06	Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd	projectleider ontwikkelaar	probleemanalyse ontwerp	technische-robuustheid-en-veiligheid fundamentele-rechten
owp-07	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging	projectleider beleid-en-advies	probleemanalyse ontwerp verificatie-en-validatie monitoring-en-beheer	fundamentele-rechten
owp-08	Maak een lijst van de meest kwetsbare groepen en bescherm hen extra	beleid-en-advies	ontwerp	fundamentele-rechten
owp-09	Bepaal welke documenten voor hoe lang gearchiveerd moeten worden	ontwikkelaar projectleider jurist	ontwerp ontwikkelen	transparantie
owp-10	Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes	projectleider beleid-en-advies	ontwerp ontwikkelen verificatie-en-validatie implementatie	technische-robuustheid-en-veiligheid
owp-11	Beschrijf welke data gebruikt wordt voor de beoogde toepassing	ontwikkelaar beleid-en-advies	ontwerp dataverkenning-en-datapreparatie	data
owp-12	Koop duurzaam algoritmes in	projectleider beleid-en-advies	ontwerp	publieke-inkoop duurzaamheid
owp-13	Ontwerp algoritmes zo eenvoudig mogelijk	ontwikkelaar	ontwerp ontwikkelen	duurzaamheid
owp-14	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	projectleider beleid-en-advies	ontwerp monitoring-en-beheer	publieke-inkoop privacy-en-gegevensbescherming
owp-15	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.	projectleider	ontwerp ontwikkelen	publieke-inkoop
owp-16	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.	projectleider beleid-en-advies	ontwerp	publieke-inkoop transparantie
owp-17	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.	projectleider beleid-en-advies	ontwerp monitoring-en-beheer	publieke-inkoop privacy-en-gegevensbescherming
owp-18	Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-19	Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output.	projectleider beleid-en-advies	dataverkenning-en-datapreparatie verificatie-en-validatie	publieke-inkoop data
owp-20	Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding	jurist beleid-en-advies	ontwerp implementatie	publieke-inkoop
owp-21	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.	ontwikkelaar	ontwerp	publieke-inkoop
owp-22	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren	projectleider	ontwerp ontwikkelen	publieke-inkoop
owp-23	Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop transparantie
owp-24	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-25	Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop transparantie
owp-26	Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-27	Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject	projectleider beleid-en-advies	ontwerp	technische-robuustheid-en-veiligheid publieke-inkoop
owp-28	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-29	Maak vereisten voor algoritmes onderdeel van de Service Level Agreement	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-30	Maak (contractuele) afspraken over data en artefacten met een aanbieder	jurist	ontwerp implementatie	publieke-inkoop
owp-31	Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben.	projectleider beleid-en-advies	ontwerp ontwikkelen	transparantie
owp-32	Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes.	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
owp-33	Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.	projectleider beleid-en-advies ontwikkelaar	ontwerp	transparantie
owp-34	Identificeer en implementeer technische interventies die robuustheid vergroten	ontwikkelaar	ontwerp ontwikkelen	technische-robuustheid-en-veiligheid
owp-35	Pas vastgestelde beleidskaders toe	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
owp-36	Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme.	ontwikkelaar beleid-en-advies jurist	ontwerp	publieke-inkoop data technische-robuustheid-en-veiligheid
owp-37	Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output.	projectleider beleid-en-advies	ontwerp verificatie-en-validatie	transparantie publieke-inkoop
dat-01	Controleer de datakwaliteit	ontwikkelaar	dataverkenning-en-datapreparatie	data
dat-02	Maak waardevolle data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) binnen en buiten de eigen organisatie.	ontwikkelaar	dataverkenning-en-datapreparatie	data
dat-03	Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure	jurist projectleider	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid privacy-en-gegevensbescherming
dat-04	Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren	ontwikkelaar jurist	dataverkenning-en-datapreparatie ontwikkelen	privacy-en-gegevensbescherming
dat-05	Controleer de auteursrechten van eigen data	jurist	ontwerp dataverkenning-en-datapreparatie	data
dat-06	Gebruik duurzame datacenters	ontwikkelaar projectleider beleid-en-advies	ontwerp dataverkenning-en-datapreparatie ontwikkelen implementatie monitoring-en-beheer	duurzaamheid
dat-07	Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houdt rekening met underfitting en overfitting.	ontwikkelaar	dataverkenning-en-datapreparatie ontwikkelen	data technische-robuustheid-en-veiligheid bias-en-non-discriminatie
dat-08	Zorg dat je controle of eigenaarschap hebt over de data	projectleider	dataverkenning-en-datapreparatie	data publieke-inkoop
dat-09	Beperk de omvang van datasets voor energie-efficiëntie	ontwikkelaar projectleider	dataverkenning-en-datapreparatie ontwikkelen	data duurzaamheid
dat-11	Controleer de data op manipulatie en ongewenste afhankelijkheden	ontwikkelaar beleid-en-advies	dataverkenning-en-datapreparatie monitoring-en-beheer	data technische-robuustheid-en-veiligheid
dat-12	Controleer de input van gebruikers op misleiding	ontwikkelaar	dataverkenning-en-datapreparatie monitoring-en-beheer	data technische-robuustheid-en-veiligheid
owk-01	Ontwerp en ontwikkel het algoritme volgens de principes van ‘security by design’	projectleider ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid
owk-02	Maak een noodplan voor het stoppen van het algoritme	projectleider ontwikkelaar	ontwikkelen implementatie	governance menselijke-controle technische-robuustheid-en-veiligheid
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden	projectleider jurist	ontwerp ontwikkelen monitoring-en-beheer	privacy-en-gegevensbescherming
owk-04	Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code	ontwikkelaar	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
owk-05	Kies energiezuinige programmeermethoden	ontwikkelaar	ontwikkelen	duurzaamheid
owk-06	Optimaliseer AI-trainingsprocessen voor energie-efficiëntie	ontwikkelaar	ontwikkelen	duurzaamheid
owk-07	Zorg voor reproduceerbaarheid van de uitkomsten	ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid transparantie
owk-08	Bepaal welke feedbackloops van invloed zijn op het algoritme	projectleider ontwikkelaar	ontwerp ontwikkelen	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
owk-09	Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen	beleid-en-advies ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid
owk-09	Zorg dat er (gevoelige) informatie niet kan lekken op basis van de output van het algoritme.	ontwikkelaar	ontwikkelen implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is	projectleider ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
ver-02	Evalueer de nauwkeurigheid van het algoritme	ontwikkelaar projectleider	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
ver-03	Toets het algoritme op bias	projectleider beleid-en-advies ontwikkelaar jurist	ontwerp verificatie-en-validatie monitoring-en-beheer	bias-en-non-discriminatie
ver-04	Zorg voor een representatieve testomgeving	ontwikkelaar projectleider	verificatie-en-validatie	technische-robuustheid-en-veiligheid
ver-05	Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid	jurist	verificatie-en-validatie monitoring-en-beheer	governance transparantie
ver-06	Evalueer de betrouwbaarheid van het algoritme	ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
imp-01	Stel een werkinstructie op voor gebruikers.	projectleider ontwikkelaar	implementatie	menselijke-controle transparantie
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren	ontwikkelaar	dataverkenning-en-datapreparatie implementatie monitoring-en-beheer	bias-en-non-discriminatie technische-robuustheid-en-veiligheid
imp-03	Richt de juiste menselijke controle in van het algoritme	projectleider beleid-en-advies	ontwerp implementatie monitoring-en-beheer	menselijke-controle governance
imp-04	Publiceer impactvolle algoritmes en hoog-risico-AI-systemen in het Algoritmeregister	projectleider beleid-en-advies	implementatie monitoring-en-beheer	transparantie
imp-05	Spreek af hoe medewerkers omgaan met het algoritme.	projectleider beleid-en-advies	implementatie	governance menselijke-controle
imp-06	Vermeld het gebruik van persoonsgegevens in een privacyverklaring	projectleider jurist	implementatie	privacy-en-gegevensbescherming transparantie
imp-07	Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces.	projectleider ontwikkelaar	implementatie monitoring-en-beheer	governance
imp-08	Vermeld het gebruik van persoonsgegevens in het verwerkingsregister	projectleider jurist	implementatie	transparantie privacy-en-gegevensbescherming
imp-09	Maak een openbaar besluit over de inzet van het algoritme	projectleider	organisatieverantwoordelijkheden implementatie	governance transparantie
imp-10	Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen	ontwikkelaar projectleider beleid-en-advies	implementatie ontwikkelen	technische-robuustheid-en-veiligheid menselijke-controle
imp-11	Spreek af hoe de organisatie omgaat met privacy-verzoeken	projectleider beleid-en-advies jurist	organisatieverantwoordelijkheden ontwikkelen	privacy-en-gegevensbescherming governance data
mon-01	Maak back-ups van algoritmes	ontwikkelaar beleid-en-advies	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-02	Beveilig de software	projectleider beleid-en-advies ontwikkelaar	dataverkenning-en-datapreparatie ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-03	Maak een noodplan voor beveiligingsincidenten	projectleider beleid-en-advies jurist	organisatieverantwoordelijkheden monitoring-en-beheer	technische-robuustheid-en-veiligheid governance
mon-05	Maak een evaluatieplan voor tijdens het gebruik van het algoritme	projectleider	monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-05	Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.	ontwikkelaar	monitoring-en-beheer	data technische-robuustheid-en-veiligheid
mon-06	Meten, monitoren en rapporteren van milieu-impact van algoritmes	ontwikkelaar beleid-en-advies projectleider	ontwerp monitoring-en-beheer	duurzaamheid
mon-07	Stel een plan op voor continue monitoring	projectleider	monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-08	Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen.	ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
uit-01	Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie.	ontwikkelaar	uitfaseren ontwerp	technische-robuustheid-en-veiligheid privacy-en-gegevensbescherming transparantie

Alle maatregelen zijn adviezen

De maatregelen zijn niet verplicht. Het zijn adviezen uit:

• Toetsingskader Algoritmes, Algemene Rekenkamer
• Onderzoekskader algoritmes, Auditdienst Rijk
• nationale en internationale standaarden (NEN, JTC21 en ISO)
• onze werkgroepen

Voorbeeld

Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.

Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.

Tip

Aantal maatregelen verschilt per situatie

Welke maatregelen handig zijn in jouw situatie, hangt af van:

• de fase in de levenscyclus van je project
• de vereisten waar jouw organisatie aan moet voldoen
• jouw rol in de organisatie

Tip

Met één maatregel voldoe je soms aan meerdere vereisten.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.