Onderzoekskader algoritmes Auditdienst Rijk 2023

OntwerpImplementatieMonitoring en beheerProjectleiderBeleid en adviesGovernance

Direct naar het Onderzoekskader Algoritmes

Hulpmiddel

Dit onderzoekskader is een instrument om de beheersing van algoritmes in kaart te brengen. Het geeft inzicht in de risico’s die algoritmes met zich meebrengen en met welke maatregelen deze risico’s beheerst (kunnen) worden.

Het onderzoekskader is in eerste instantie bedoeld als instrument voor auditors om de beheersing en werking van algoritmes binnen overheidsorganisaties te onderzoeken, maar is ook bruikbaar voor andere partijen om inzicht te krijgen in de huidige en/of gewenste beheersing van algoritme(s).

Het kader richt zich op algoritmes die binnen overheidsorganisaties gebruikt worden. Het is ingericht op algoritmes die zelf van voorbeelden leren, zoals machine learning, maar is ook toepasbaar op regelgebaseerde algoritmes. Het kader is ook bruikbaar voor andere organisaties en kan bij verschillende fases van de levenscyclus van een algoritme worden ingezet. Mogelijk zijn niet alle thema’s relevant gezien de context van het algoritme. De opdrachtgever en auditor(s) dienen daarom voorafgaand aan een onderzoek te analyseren en te bepalen welke thema’s en onderwerpen worden onderzocht. Het onderzoekskader is ingedeeld in 4 thema’s:

• Sturing en Verantwoording
• Privacy
• Data en Model
• Informatiebeveiliging

Ethiek raakt alle thema’s en komt daarom bij elk thema in het kader terug. Elk thema bevat deelgebieden en de risico’s en beheersmaatregelen die daarbij horen (inclusief de bron). Ook deze kunnen weer gerelateerd zijn aan een ander thema. Een apart werkbestand voor auditors is opgesteld wat kan worden gebruikt bij het uitvoeren van een onderzoek. Dit bestand heeft dezelfde opbouw, maar bevat ook invulvelden om als auditor het risico (kans x impact) in te schatten en de bevindingen op te nemen. Daarnaast zijn toelichtingen en voorbeelden van checks en evidence opgenomen per beheersmaatregel.

Relevantie

Het onderzoekskader is ontwikkeld met behulp van nationale en internationale richtlijnen en kaders, rapporten en instrumenten, zoals de Ethics guidelines for trustworthy AI van de Europese Commissie (EC), Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA), de richtlijnen van het ministerie van JenV, het DPIA model Rijksoverheid (gebaseerd op o.a. AVG) en de Guiding Principles Trustworthy AI Investigations van NOREA (beroepsvereniging IT-auditors Nederland). De bron van de betreffende risico’s en beheersmaatregelen is tevens opgenomen.

Dit onderzoekskader is erg overkoepelend (net als het toetsingskader van de Algemene Rekenkamer). Er zijn dan ook veel maatregelen in het Algoritmekader gebaseerd op maatregelen die in het kader van de ADR staan. Bekijk alle maatregelen van het Algoritmekader hier.

Auteur

Het Onderzoekskader Algoritmes is ontwikkeld door de Auditdienst Rijk

Bijbehorende vereisten

Vereiste
aia-06 - Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie.

Bijbehorende maatregelen

Geen maatregelen beschikbaar voor dit hulpmiddel.