Richt bij besluitvorming betekenisvolle menselijke tussenkomst in

imp-03OntwerpImplementatieMonitoring en beheerProjectleiderBeleid en adviesMenselijke controleGovernance

Maatregel

Richt controle op algoritmes zó in dat voldaan wordt aan de vereiste van menselijke tussenkomst in de zin van artikel 22 van de Algemene Verordening Gegevensbescherming (AVG).

Toelichting

Bij situaties waar de AVG van toepassing is, is het op grond van artikel 22 van de AVG verboden om volledig geautomatiseerd besluiten te nemen die rechtsgevolgen of aanmerkelijke effecten hebben. Er zijn uitzonderingen op dit verbod, zoals het bestaan van een wettelijke grondslag voor dergelijke besluitvorming. Het is van belang dat de menselijke tussenkomst daadwerkelijk ‘betekenisvol’ is. De AVG beschrijft niet hoe betekenisvolle menselijke tussenkomst eruit moet zien. In het SCHUFA-arrest van 7 december 2023 heeft het Hof van Justitie wel bepaald dat er in ieder geval geen sprake is van betekenisvolle menselijke tussenkomst als een bepaalde output van het gebruikte algoritme zo goed als altijd leidt tot een bepaald besluit, ook wanneer dat besluit wel nog door een natuurlijk persoon genomen wordt.

De publicatie 'Handvatten betekenisvolle menselijke tussenkomst' van de Autoriteit Persoonsgegevens (AP) geeft de volgende richtlijnen voor het inrichten van betekenisvolle menselijke tussenkomst:

Mens

De AP geeft aan dat de mens eigenschappen heeft die algoritmes niet hebben. Om die eigenschappen betekenisvol tot uiting te laten komen, zijn de volgende onderdelen belangrijk:

Beoordelaars moeten alle relevante factoren kunnen betrekken.
Beoordelaars moeten hun eigen menselijk inzicht kunnen inzetten.
Beoordelaars moeten voldoende bekwaam zijn om het algoritme, de output en de totstandkoming van het besluit te beoordelen.

Technologie en ontwerp

De AP waarschuwt dat niet alleen de mens invloed moet kunnen uitoefenen, maar dat de technologie ook de mens kan beïnvloeden. Zo kan bijvoorbeeld automation bias optreden, waarbij mensen de prestaties en nauwkeurigheid van algoritmes overschatten. Zo wordt te snel de output van het algoritme zonder kritische blik gevolgd. Aan de andere kant kan ook algorithmic aversion ontstaan, waarbij juist sprake is van een onderschatting van dezelfde eigenschappen van het algoritme. Dit heeft als risico dat menselijke bias in de besluitvorming wordt geïntroduceerd. Om de technologie zo in te richten dat menselijke tussenkomst op betekenisvolle wijze mogelijk blijft, zijn de volgende onderdelen belangrijk.

De interface moet zo worden ontworpen en vormgegeven dat neutraliteit wordt gewaarborgd en betekenisvolle tussenkomst wordt gestimuleerd.
De beoordelaar moet de data kunnen zien die relevant zijn bij de beoordeling, zonder dat dit onoverzichtelijk wordt.
De beoordelaar moet de data in een relevante context kunnen zien.
De beoordelaar moet de data in een zo neutraal mogelijke volgorde te zien krijgen.
De wijze van beoordelen moet op een gevarieerde wijze plaatsvinden om te voorkomen dat het routinematig wordt en daarmee zijn functie verliest.

Proces

De AP geeft aan dat de betekenis van menselijke tussenkomst beïnvloed kan worden door het proces daaromheen. Om het proces rond de menselijke tussenkomst zo in te richten dat deze optimaal betekenisvol is, zijn de volgende onderdelen belangrijk.

Het moment binnen de besluitvorming waarop de menselijke tussenkomst plaatsvindt moet passend zijn bij het besluit en de werking van het algoritme. Het kan nodig zijn dat de menselijke tussenkomst op meerdere momenten plaatsvindt.
Beoordelaars moeten voldoende tijd krijgen om beslissingen te maken.
Beoordelaars moeten bevoegdheid hebben om tegen het algoritme in te gaan en zich vrij voelen dat ook daadwerkelijk te doen.
Beoordelaars moeten voldoende ondersteuning hebben bij het nemen van beslissingen.

Governance

De AP noemt dat binnen een organisatie het belang van betekenisvolle menselijke tussenkomst moet worden onderschreven en dat de organisatie steeds verantwoordelijkheid moet blijven nemen voor de inzet van algoritmes en de daarvoor noodzakelijke inrichting van de menselijke tussenkomst. Om te waarborgen dat binnen een organisatie de juiste personen daarvoor verantwoordelijk blijven, zijn de volgende onderdelen belangrijk.

De organisatie legt haar beleid over betekenisvolle menselijke tussenkomst vast in procedures.
De organisatie traint en instrueert beoordelaars voldoende om hun rol te kunnen vervullen.
De verantwoordelijke toetst en monitort het proces en de gebruikte algoritmes en voert wijzigingen door bij blijkende onvoldoende betekenisvolle menselijke tussenkomst.

De AP heeft in de publicatie 'Handvatten betekenisvolle menselijke tussenkomst' een groot aantal vragen opgenomen die verantwoordelijken zich dienen te stellen bij de inrichting van betekenisvolle menselijke tussenkomst ter invulling van de hierboven omschreven onderdelen. Het is raadzaam die handvatten te gebruiken.

Risico

Wanneer algoritmen een rol spelen in besluitvormingsprocessen met rechtsgevolgen of andere aanmerkelijke effecten voor betrokkene en hierbij geen betekenisvolle menselijke tussenkomst is ingericht, dan kan dit kwalificeren als volledig geautomatiseerde besluitvorming die in strijd is met het verbod van artikel 22 van de AVG. Ook kan de kwaliteit van de besluitvorming lager zijn zonder betekenisvolle menselijke tussenkomst.

Bijbehorende vereiste(n)

Bekijk alle vereisten

ID	Vereiste
avg-10	Besluiten met rechtsgevolgen of aanmerkelijke effecten zijn niet volledig geautomatiseerd
grw-01	Algoritmes schenden geen grondrechten of mensenrechten
aia-22	De werking van hoog-risico-AI-systemen wordt gemonitord
awb-01	Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht
aia-21	Menselijk toezicht van hoog-risico-AI-systemen wordt uitgevoerd door mensen met voldoende kennis en mogelijkheden

Bronnen

Voorbeelden

Hof van Justitie van de Europese Unie: Prejudiciële verwijzing

In 2021 heeft een burger SCHUFA (een Duits bedrijf wat kredietwaardigheid informatie deelt met derden) aangeklaagd naar aanleiding van een niet ingewilligd verzoek tot inzage en wissing van diens persoonsgegevens. De reden hiervoor kwam door een afwijzing van ondersteuning op basis van geautomatiseerde individuele besluitvorming. Het Hof van Justitie oordeelde dat, zoals bij de kredietscores van SCHUFA het geval was, er geen sprake is van betekenisvolle menselijke tussenkomst als de uitkomsten van het gebruikte algoritme zo goed als altijd leiden tot een bepaalde uitkomst voor de betrokkene.

Bron: HvJEU december 2023, ECLI:EU:C:2023:957 (SCHUFA Scoring)

Rijksdienst voor Ondernemend Nederland: Risicocontrole SDE++ Subsidieaanvragen

De Rijksdienst voor Ondernemend Nederland (RVO) maakt gebruik van een algoritme bij het behandelen van subsidieaanvragen. Per ronde komen er duizenden aanvragen binnen. Het algoritme geeft elke aanvraag een risico-indicatie. Elke aanvraag met een risico-indicatie wordt beoordeeld door een adviseur. De adviseur bekijkt het onderdeel met een risico-indicatie. Als de aanvraag niet volledig is of als de informatie niet voldoende is, dan kan de aanvrager de kans krijgen om extra informatie aan te leveren of iets uit te leggen. Het algoritme zorgt nooit voor een directe afwijzing. Aanvragen voor ingewikkelde technieken of aanvragen boven een bepaald bedrag worden altijd helemaal door een adviseur beoordeeld en niet alleen op het onderdeel met een risico.

Bron: Rijksdienst voor Ondernemend Nederland: Risicocontrole SDE++ Subsidieaanvragen

Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl