Aanbevolen maatregelen

Overzicht van maatregelen waarmee je kunt voldoen aan de vereisten voor de overheid. Deze maatregelen zijn niet verplicht. Andere maatregelen zijn ook mogelijk.

Overzicht maatregelen

Zoeken

Rollenbeleid-en-adviesjuristontwikkelaarprivacy-en-gegevensbeschermingprojectleider

Levenscyclusdataverkenning-en-datapreparatieimplementatiemonitoring-en-beheerontwerpontwikkelenorganisatieverantwoordelijkhedenprobleemanalyseuitfaserenverificatie-en-validatie

Onderwerpenbias-en-non-discriminatiedataduurzaamheidfundamentele-rechtengovernancemenselijke-controleprivacy-en-gegevensbeschermingpublieke-inkooptechnische-robuustheid-en-veiligheidtransparantie

id	Maatregelen	Rollen	Levenscyclus	Onderwerpen
org-00	Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel	beleid-en-advies	organisatieverantwoordelijkheden monitoring-en-beheer	governance transparantie
org-01	Bepaal of er genoeg experts beschikbaar zijn	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-02	Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie	beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
org-03	Maak een plan voor het omgaan met risico’s	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-04	Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
org-05	Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-06	Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staat	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-07	Richt een algoritmegovernance in met three lines of defence	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-08	Richt vaste beslismomenten en controlepunten in in de algoritmelevenscyclus	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-09	Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-10	Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernance	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance
org-11	Maak afspraken over het beheer van gebruikers	projectleider beleid-en-advies	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme	projectleider beleid-en-advies	organisatieverantwoordelijkheden monitoring-en-beheer	governance menselijke-controle
org-13	Maak afspraken over het beheer van wachtwoorden	projectleider ontwikkelaar	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-14	Maak afspraken over het wijzigen van de code	projectleider ontwikkelaar	organisatieverantwoordelijkheden	technische-robuustheid-en-veiligheid governance
org-15	Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe	projectleider beleid-en-advies	organisatieverantwoordelijkheden implementatie	bias-en-non-discriminatie
org-16	Zorg voor bewustwording en voldoende opleidingen over de risico's en kansen van algoritmes en AI	beleid-en-advies	organisatieverantwoordelijkheden	governance
pba-01	Beschrijf het probleem dat het algoritme moet oplossen	projectleider	probleemanalyse	governance transparantie
pba-02	Beschrijf het doel van het algoritme	projectleider	probleemanalyse	governance transparantie
pba-03	Beschrijf waarom een algoritme het probleem moet oplossen	projectleider	probleemanalyse	governance menselijke-controle
pba-04	Overleg regelmatig met belanghebbenden	projectleider	probleemanalyse ontwerp implementatie	governance fundamentele-rechten
pba-05	Beschrijf de wettelijke grondslag voor de inzet van het algoritme	jurist	probleemanalyse	governance transparantie
pba-06	Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes	projectleider	ontwerp implementatie monitoring-en-beheer	governance
owp-02	Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit	projectleider beleid-en-advies	ontwerp	publieke-inkoop data
owp-03	Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag	projectleider jurist	ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie	privacy-en-gegevensbescherming
owp-04	Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing	ontwikkelaar	ontwerp	technische-robuustheid-en-veiligheid
owp-05	Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.	projectleider beleid-en-advies	ontwerp ontwikkelen	publieke-inkoop governance
owp-06	Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd	projectleider ontwikkelaar	probleemanalyse ontwerp	technische-robuustheid-en-veiligheid fundamentele-rechten
owp-07	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging	projectleider beleid-en-advies	probleemanalyse ontwerp verificatie-en-validatie monitoring-en-beheer	fundamentele-rechten
owp-08	Maak een lijst van de meest kwetsbare groepen en bescherm hen extra	beleid-en-advies	ontwerp	fundamentele-rechten
owp-09	Bepaal welke documenten voor hoe lang gearchiveerd moeten worden	ontwikkelaar projectleider jurist	ontwerp ontwikkelen	transparantie
owp-10	Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes	projectleider beleid-en-advies	ontwerp ontwikkelen verificatie-en-validatie implementatie	technische-robuustheid-en-veiligheid
owp-11	Beschrijf welke data gebruikt wordt voor de beoogde toepassing	ontwikkelaar beleid-en-advies	ontwerp dataverkenning-en-datapreparatie	data
owp-12	Koop duurzaam algoritmes in	projectleider beleid-en-advies	ontwerp	publieke-inkoop duurzaamheid
owp-13	Ontwerp algoritmes zo eenvoudig mogelijk	ontwikkelaar	ontwerp ontwikkelen	duurzaamheid
owp-14	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	projectleider beleid-en-advies	ontwerp monitoring-en-beheer	publieke-inkoop privacy-en-gegevensbescherming
owp-15	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders	projectleider	ontwerp ontwikkelen	publieke-inkoop
owp-16	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst	projectleider beleid-en-advies	ontwerp	publieke-inkoop transparantie
owp-17	Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-18	Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output	projectleider beleid-en-advies	dataverkenning-en-datapreparatie verificatie-en-validatie	publieke-inkoop data
owp-19	Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding	jurist beleid-en-advies	ontwerp implementatie	publieke-inkoop
owp-20	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding	ontwikkelaar	ontwerp	publieke-inkoop
owp-21	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren	projectleider	ontwerp ontwikkelen	publieke-inkoop
owp-22	Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop transparantie
owp-23	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	projectleider beleid-en-advies	ontwerp	publieke-inkoop
owp-24	Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop transparantie
owp-25	Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-26	Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject	projectleider beleid-en-advies	ontwerp	technische-robuustheid-en-veiligheid publieke-inkoop
owp-27	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-28	Maak vereisten voor algoritmes onderdeel van de Service Level Agreement	projectleider beleid-en-advies ontwikkelaar	ontwerp	publieke-inkoop
owp-29	Maak (contractuele) afspraken over data en artefacten met een aanbieder	jurist	ontwerp implementatie	publieke-inkoop
owp-30	Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben	projectleider beleid-en-advies	ontwerp ontwikkelen	transparantie
owp-31	Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes	projectleider beleid-en-advies	organisatieverantwoordelijkheden	governance transparantie
owp-32	Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze	projectleider beleid-en-advies ontwikkelaar	ontwerp	transparantie
owp-33	Identificeer en implementeer technische interventies die robuustheid vergroten	ontwikkelaar	ontwerp ontwikkelen	technische-robuustheid-en-veiligheid
owp-34	Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme	ontwikkelaar beleid-en-advies jurist	ontwerp	publieke-inkoop data technische-robuustheid-en-veiligheid
owp-35	Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output	projectleider beleid-en-advies	ontwerp verificatie-en-validatie	transparantie publieke-inkoop
owp-36	Bepaal of een algoritme moet worden ontwikkeld of ingekocht	projectleider	ontwerp	publieke-inkoop
dat-01	Controleer de datakwaliteit	ontwikkelaar	dataverkenning-en-datapreparatie	data
dat-02	Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor het beoogde algoritme	ontwikkelaar beleid-en-advies privacy-en-gegevensbescherming	dataverkenning-en-datapreparatie verificatie-en-validatie	data bias-en-non-discriminatie
dat-03	Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure	jurist projectleider	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid privacy-en-gegevensbescherming
dat-04	Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren	ontwikkelaar jurist	dataverkenning-en-datapreparatie ontwikkelen	privacy-en-gegevensbescherming
dat-05	Controleer de auteursrechten van eigen data	jurist	ontwerp dataverkenning-en-datapreparatie	data
dat-06	Gebruik duurzame datacenters	ontwikkelaar projectleider beleid-en-advies	ontwerp dataverkenning-en-datapreparatie ontwikkelen implementatie monitoring-en-beheer	duurzaamheid
dat-07	Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houd rekening met underfitting en overfitting	ontwikkelaar	dataverkenning-en-datapreparatie ontwikkelen	data technische-robuustheid-en-veiligheid bias-en-non-discriminatie
dat-08	Zorg dat je controle of eigenaarschap hebt over de data	projectleider	dataverkenning-en-datapreparatie	data publieke-inkoop
dat-09	Beperk de omvang van datasets voor energie-efficiëntie	ontwikkelaar projectleider	dataverkenning-en-datapreparatie ontwikkelen	data duurzaamheid
dat-10	Controleer de data op manipulatie en ongewenste afhankelijkheden	ontwikkelaar beleid-en-advies	dataverkenning-en-datapreparatie monitoring-en-beheer	data technische-robuustheid-en-veiligheid
dat-11	Controleer de input van gebruikers op misleiding	ontwikkelaar	dataverkenning-en-datapreparatie monitoring-en-beheer	data technische-robuustheid-en-veiligheid
dat-12	Maak waardevolle data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) binnen en buiten de eigen organisatie	ontwikkelaar	dataverkenning-en-datapreparatie	data
owk-01	Ontwerp en ontwikkel het algoritme volgens de principes van ‘security by design’	projectleider ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid
owk-02	Maak een noodplan voor het stoppen van het algoritme	projectleider ontwikkelaar	ontwikkelen implementatie	governance menselijke-controle technische-robuustheid-en-veiligheid
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden	projectleider jurist	ontwerp ontwikkelen monitoring-en-beheer	privacy-en-gegevensbescherming
owk-04	Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code	ontwikkelaar	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
owk-05	Kies energiezuinige programmeermethoden	ontwikkelaar	ontwikkelen	duurzaamheid
owk-06	Optimaliseer AI-trainingsprocessen voor energie-efficiëntie	ontwikkelaar	ontwikkelen	duurzaamheid
owk-07	Zorg voor reproduceerbaarheid van de uitkomsten	ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid transparantie
owk-08	Bepaal welke feedbackloops van invloed zijn op het algoritme	projectleider ontwikkelaar	ontwerp ontwikkelen	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
owk-09	Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen	beleid-en-advies ontwikkelaar	ontwikkelen	technische-robuustheid-en-veiligheid
owk-10	Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme	ontwikkelaar	ontwikkelen implementatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
owk-11	Documenteer en beargumenteer de keuze voor gebruikte modellen en parameters	ontwikkelaar	ontwikkelen implementatie	technische-robuustheid-en-veiligheid
owk-12	Gebruik een passende licentie bij publicatie of gebruik van (open) data	ontwikkelaar jurist	ontwikkelen dataverkenning-en-datapreparatie monitoring-en-beheer	data
ver-01	Controleer regelmatig of het algoritme werkt zoals het bedoeld is	projectleider ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
ver-02	Evalueer de nauwkeurigheid van het algoritme	ontwikkelaar projectleider	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid bias-en-non-discriminatie
ver-03	Toets het algoritme op bias en voer een rechtvaardigingstoets uit	projectleider beleid-en-advies ontwikkelaar jurist	ontwerp verificatie-en-validatie monitoring-en-beheer	bias-en-non-discriminatie
ver-04	Zorg voor een representatieve testomgeving	ontwikkelaar projectleider	verificatie-en-validatie	technische-robuustheid-en-veiligheid
ver-05	Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid	jurist	verificatie-en-validatie monitoring-en-beheer	governance transparantie
ver-06	Evalueer de betrouwbaarheid van het algoritme	ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
imp-01	Stel een werkinstructie op voor gebruikers	projectleider beleid-en-advies	implementatie	menselijke-controle transparantie governance
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren	ontwikkelaar	dataverkenning-en-datapreparatie implementatie monitoring-en-beheer	bias-en-non-discriminatie technische-robuustheid-en-veiligheid
imp-03	Richt de juiste menselijke controle in van het algoritme	projectleider beleid-en-advies	ontwerp implementatie monitoring-en-beheer	menselijke-controle governance
imp-04	Publiceer impactvolle algoritmes en hoog-risico AI-systemen in het Algoritmeregister	projectleider beleid-en-advies	implementatie monitoring-en-beheer	transparantie
imp-05	Vermeld het gebruik van persoonsgegevens in een privacyverklaring	projectleider jurist	implementatie	privacy-en-gegevensbescherming transparantie
imp-06	Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces	projectleider ontwikkelaar	implementatie monitoring-en-beheer	governance
imp-07	Vermeld het gebruik van persoonsgegevens in het verwerkingsregister	projectleider jurist	implementatie	transparantie privacy-en-gegevensbescherming
imp-08	Maak een openbaar besluit over de inzet van het algoritme	projectleider	organisatieverantwoordelijkheden implementatie	governance transparantie
imp-09	Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen	ontwikkelaar projectleider beleid-en-advies	implementatie ontwikkelen	technische-robuustheid-en-veiligheid menselijke-controle
imp-10	Spreek af hoe de organisatie omgaat met privacy-verzoeken	projectleider beleid-en-advies jurist	organisatieverantwoordelijkheden ontwikkelen	privacy-en-gegevensbescherming governance data
mon-01	Maak back-ups van algoritmes	ontwikkelaar beleid-en-advies	ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-02	Beveilig de software	projectleider beleid-en-advies ontwikkelaar	dataverkenning-en-datapreparatie ontwikkelen monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-03	Maak een noodplan voor beveiligingsincidenten	projectleider beleid-en-advies jurist	organisatieverantwoordelijkheden monitoring-en-beheer	technische-robuustheid-en-veiligheid governance
mon-04	Maak een evaluatieplan voor tijdens het gebruik van het algoritme	projectleider	monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-05	Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.	ontwikkelaar	monitoring-en-beheer	data technische-robuustheid-en-veiligheid
mon-06	Meten, monitoren en rapporteren van milieu-impact van algoritmes	ontwikkelaar beleid-en-advies projectleider	ontwerp monitoring-en-beheer	duurzaamheid
mon-07	Stel een plan op voor continue monitoring	projectleider	monitoring-en-beheer	technische-robuustheid-en-veiligheid
mon-08	Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen	ontwikkelaar	ontwikkelen verificatie-en-validatie monitoring-en-beheer	technische-robuustheid-en-veiligheid
uit-01	Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie	ontwikkelaar	uitfaseren ontwerp	technische-robuustheid-en-veiligheid privacy-en-gegevensbescherming transparantie

Alle maatregelen zijn adviezen

De maatregelen zijn niet verplicht. Het zijn adviezen uit:

• Toetsingskader Algoritmes, Algemene Rekenkamer
• Onderzoekskader algoritmes, Auditdienst Rijk
• nationale en internationale standaarden (NEN, JTC21 en ISO)
• andere relevante bronnen
• onze werkgroepen

Benieuwd hoe de maatregelen samenhangen met het Onderzoekskader van de Auditdienst Rijk en het Toetsingskader van de Algemene Rekenkamer?

Bekijk de mapping tussen de maatregelen van het Algoritmekader en de maatregelen uit het Toetsingskader Algoritmes en het Onderzoekskader algoritmes. Hierin kan je voor iedere maatregel uit één van de kaders vinden waar deze terugkomt in het Algoritmekader. Dit staat ook altijd aangegeven in de bronvermelding van de betreffende maatregel.

Download de mapping

Voorbeeld

Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.

Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.

Aantal maatregelen verschilt per situatie

Welke maatregelen handig zijn in jouw situatie, hangt af van:

• de fase in de levenscyclus van je project
• de vereisten waar jouw organisatie aan moet voldoen
• jouw rol in de organisatie

Tip

Met één maatregel voldoe je soms aan meerdere vereisten.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.