Instrumenten

Disclaimer

Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.

Er is een groot aanbod aan instrumenten die kunnen worden ingezet tijdens de ontwikkeling, gebruik, beoordeling en/of monitoring van algoritmes. Binnen het Algoritmekader worden instrumenten als volgt gedefinieerd:

Een instrument heeft als doel om op systematische wijze (een bepaald aspect van) verantwoorde en effectieve inzet van algoritmes te bevorderen en/of te evalueren. Een instrument bevat hulpmiddelen of richtlijnen om kenmerken, prestaties, effecten en risico’s van de inzet van algoritmes in kaart te brengen, te beoordelen en mogelijk te verbeteren¹.

Instrumenten worden ontwikkeld door de verschillende partijen, zoals de overheid, wetenschap en industrie. Bekende voorbeelden hiervan zijn het IAMA (UU) en het Toetsingskader Algoritmes (ARK). Het team Algoritmekader heeft verschillende instrumenten geanalyseerd. Wat opvalt is dat er (veel) overlap zit tussen deze instrumenten wat betreft doel en onderwerpen. Het is voor gebruikers ook niet altijd duidelijk wanneer welk instrument kan of moeten worden ingezet en of het dan alle relevante aspecten van een onderwerp dekt.

Door een beperkt aantal instrumenten op te nemen in het Algoritmekader, wordt geprobeerd om organisaties handvatten te bieden voor het inzetten van passende instrumenten. Er is gekozen voor een aanpak waarbij bekende instrumenten worden gelinkt aan de verschillende bouwblokken van het Algoritmekader. Een instrument zal worden opgenomen wanneer:

Deze bekend is onder een gebruikersgroep (van overheidsorganisaties/-medewerkers) die relatief groot genoeg is;
Kan worden vastgesteld of het instrument reeds vaker wordt ingezet;
Kan worden vastgesteld of ervaringen met het instrument overwegend positief zijn

Bovendien is het van belang dat een instrument in ieder geval passend is voor algoritmes binnen het overheidsdomein. Wanneer een gebruiker informatie zoekt binnen een bouwblok, zal (wanneer beschikbaar) worden verwezen naar het betreffende instrument dat onderwerpen uit het betreffende bouwblok ondersteunt. Het is de bedoeling dat daarbij een korte beschrijving van het instrument wordt opgenomen. Indien hier (op termijn) informatie over beschikbaar is, zullen ook voor- en nadelen worden opgenomen. Een gebruiker kan er dan voor kiezen het betreffende instrument wel of niet in te zetten.

Deze aanpak geniet de voorkeur boven het opnemen van alle bestaande/bekende instrumenten in het Algoritmekader. Er zou dan alsnog sprake zijn van een grote hoeveelheid overlap tussen de verschillende instrumenten en onduidelijkheid opleveren voor gebruikers. Een ander praktisch aspect is dat het niet voor elk instrument valt vast te stellen of het van goede kwaliteit is. Een inhoudelijke analyse van elk individueel instrument zou ook een opdracht op zichzelf zijn, die op het moment van schrijven niet is uit te voeren binnen de ontwikkeling van het Algoritmekader.

Tot slot is het belangrijk te benadrukken dat een instrument iets anders is dan een wettelijke verplichting. Er bestaan wettelijke verplichtingen die de inzet van bepaalde instrumenten voorschrijven. Een bekend voorbeeld hiervan is de DPIA. Echter is de inzet van de meeste instrumenten niet verplicht en ligt de keuze meestal bij de gebruiker.

De instrumenten¶

Het Algoritmekader is tot stand gekomen op basis van de volgende instrumenten:

Naam instrument	Categorie	Jaartal uitgebracht	Verantwoordelijke organisatie	Ontwikkeld door	null	null	Ontwikkeld voor	null	null	Voor overheidsorganisatie specfiek	Volwassenheidsniveau	Locatie	Doel	null	null	null	Mogelijke wettelijke verplichting	Toelichting doel	Toepassing
				overheid	wetenschap	overig	overheid	wetenschap	overig				Informerend	Sturend	Normerend	Faciliterend			technologie algemeen
Impact Assessment Mensenrechten en Algoritmes	Impact Assessment	2021	Universiteit Utrecht	ja	ja		ja	ja			In gebruik	Internationaal	±	-	-	+	ja	Dit impact assessment werkt in eerste instantie faciliterend voor het gesprek. Maar biedt ook veel informatie.	±
Handreiking Non-discriminatie by Design	Handleiking/leidraad	2021	Binnenlandse Zaken	ja	ja	nee	ja	ja	ja		In gebruik	Nationaal	+	+	-	±	nee	Deze handreiking is bedoeld voor projectleiders die sturing geven aan systeembouwers, data-analisten en AI-experts op het gebied van het discriminatieverbod.	-
De Ethische Data Assistent (DEDA)	Handleiking/leidraad	2022	Utrecht Data School	nee	ja	nee	ja	ja	ja		In gebruik	Nationaal	+	-	-	+	nee	DEDA helpt data-analisten, projectmanagers en beleidsmakers om samen ethische problemen in dataprojecten, datamanagement en databeleid te herkennen.	-
Toetsingskader Algoritmes Algemene Rekenkamer	Toetsingskader	2020	Algemene Rekenkamer	ja	nee	nee	ja	ja	ja		In gebruik	Nationaal	+	+	-	-	nee	Dit toetsingskader is een instrument dat aandacht besteedt aan de relevante perspectieven op algoritmes. Met een vertaling van normenkaders en richtlijnen naar verschillende aspecten waarop algoritmes kunnen worden getoetst. Een instrument dat bovendien rekening houdt met de risico’s en de onderzoeksvragen die in een toetsingskader aan bod moeten komen.	-
Baseline Informatiebeveiliging Overheid	Wet- en regelgeving	2018	Binnenlandse Zaken	ja	nee	nee	ja	nee	nee		In gebruik	Nationaal	-	-	+	-	ja	De Baseline Informatiebeveiliging Overheid (BIO) is het basisnormenkader voor informatiebeveiliging binnen alle overheidslagen (Rijk, gemeenten, provincies en waterschappen).	+
Framework for Meaningful Engagement	Handleiking/leidraad	2023	Action Coalition on Civic Engagement for AI (Denemarken)	ja	nee	ja	ja	ja	ja		In gebruik	Internationaal	+	±	-	+	nee	Dit kader is gecreëerd om iedereen die producten of diensten ontwerpt met behulp van AI, machine learning of op algoritme-gebaseerde gegegevensanalyse in staat te stellen belanghebbenden bij dat proces te betrekken.	±
Waarborgen Selectie-Instrumenten voor de Belastingdienst	Handleiking/leidraad	2023	Belastingdienst	ja	nee	nee	ja	nee	nee	Financiën (Fin)	In gebruik	Nationaal	+	+	±	-	nee	Een waarborgenkader voor selectie-instrumenten waarmee de rechtmatigheid en transparantie van de instrumenten (beter) gegarandeerd kunnen worden.	+
Modelbepalingen en toelichting voor verantwoord gebruik van algoritme door de overheid (contractvoorwaarden)	Handleiking/leidraad	2022	Gemeente Amsterdam	ja	nee	nee	ja	nee	nee	Gemeenten	In gebruik	Nationaal	+	+	±	-	nee		+
AI Impact Assessment	Handleiking/leidraad	2022	Infrastructuur en Waterstaat	ja	nee	nee	ja	ja	ja		In gebruik	Nationaal	±	-	-	+	nee	Het AI Impact Assessment (AIIA) is een hulpmiddel voor het maken van afwegingen bij het inzetten van kunstmatige intelligentie (artificial intelligence, AI) in een project. Het AIIA dient als instrument voor het gesprek en het vastleggen van het denkproces zodat onder andere de verantwoording, kwaliteit en reproduceerbaarheid worden vergroot.	-
Artificial Intelligence Impact Assessment	Handleiking/leidraad	2018	ECP	nee	nee	ja	ja	ja	ja		In gebruik	Nationaal	±	-	-	+	nee	De Artificial Intelligence Impact Assessment (AIIA) helpt bedrijven artificial intelligence verantwoord in te zetten, nu slimme algoritmes steeds vaker taken van mensen overnemen. Aan de hand van een stappenplan, bestaande uit acht stappen, maken bedrijven inzichtelijk welke juridische en ethische normen een rol spelen bij de ontwikkeling en inzet van AI-toepassingen, en welke afwegingen ten grondslag liggen aan keuzes en besluiten.	-
Data Protection Impact Assessment	Impact Assessment	2018	Autoriteit Persoonsgegevens	ja	nee	nee	ja	ja	ja		In gebruik	Nationaal	-	-	+	-	ja	Is een organisatie van plan persoonsgegevens te verwerken, maar levert dat waarschijnlijk een hoog privacyrisico op? Dan is de organisatie verplicht eerst een 'data protection impact assessment' (DPIA) uit te voeren. Een DPIA is een instrument om vooraf de privacyrisico’s van een gegevensverwerking in kaart te brengen.	+
The Fairness Handbook	Handleiking/leidraad	2022	Gemeente Amsterdam	ja	nee	nee	ja	ja	ja		In gebruik	Nationaal	+	±	-	±	nee	The Fairness Handbook is uitgebracht door de gemeente Amsterdam om bias in algoritmische systemen te minimaliseren en fairness te maximaliseren. Het handboek legt uit hoe vooroordelen en andere problemen rondom fairness tijdens de ontwikkeling van algoritmes kunnen voorkomen en wat hieraan gedaan kan worden.	-
Ethics Guideline for Trustworthy AI	Handleiking/leidraad	2019	EU High-Level Expert Group on AI	ja	nee	nee	ja	ja	ja		In gebruik	Internationaal	±	+	-	-	nee	Deze richtlijnen, opgesteld door leden van de 'high level expert group on AI', hebben als doel gebruikers te begeleiden in het ontwikkelen van betrouwbare AI. Hiervoor worden drie domeinen belicht; juridisch, ethisch en robuustheid.	-
Norea Guiding Principles Trustworthy AI Investigations	Handleiking/leidraad	2021	Norea Beroepsorganisatie van IT-auditors	nee	nee	ja	ja	ja	ja		In gebruik	Internationaal	±	+	-	-	nee		-

Definitie opgesteld door team Algoritmekader ↩