Ga naar inhoud

Wat is geautomatiseerde risicoselectie?

Geautomatiseerde risicoselectie helpt overheden om gerichter dossiers in beeld te brengen die extra aandacht nodig hebben, bijvoorbeeld voor het aanbieden van ondersteuning aan burgers bij aanvragen, het vroegtijdig corrigeren van fouten of het detecteren van misbruik of fraude met voorzieningen. Bij risicoselectie staat centraal dat algemene aannames worden toegepast op concrete gevallen. Op basis van criteria of ‘profielen’ worden dossiers ingedeeld in categorieën, waaraan vervolgens bepaalde handelingen worden gekoppeld, bijvoorbeeld de beslissing om een dossier wel of niet nader te bekijken. Risicoselectie kan gebaseerd zijn op een enkel criterium of op een set van criteria.

Het gehanteerde algoritme kan een eenvoudige geprogrammeerde beslisboom zijn, een geavanceerd statistisch model of een AI-systeem. Geautomatiseerde risicoselectie kan ook deels handmatig plaatsvinden, bijvoorbeeld in het geval dat na de geautomatiseerde risicoselectie een medewerker op basis van bepaalde criteria nader bekijkt welke dossiers in aanmerking komen voor behandeling.

Kaders, begrippen en definities

Risicoselectie wordt ook wel risicoprofilering genoemd. Er bestaan verschillende relevante kaders. Overheden moeten er in alle gevallen voor zorgen dat de inzet van risicoselectie in lijn is met het recht op non-discriminatie. Het College voor de Rechten van de Mens heeft het ‘Toetsingskader risicoprofilering’ opgesteld ter voorkoming van discriminatie op grond van ras en nationaliteit. Wanneer persoonsgegevens worden verwerkt is (ook) de AVG van toepassing. De Autoriteit Persoonsgegevens (AP) heeft in een advies geduid hoe geautomatiseerde risicoselectie zich verhoudt tot de AVG, met name het verbod op volledig geautomatiseerde besluitvorming.

De AP beschrijft geautomatiseerde risicoselectie als een specifieke toepassing van profilering in de zin van de AVG in de context van publieke dienstverlening. De AVG definieert profilering als een geautomatiseerde verwerking waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling om te analyseren of voorspellen.

De AP licht toe dat een indeling van dossiers op basis van bepaalde kenmerken op zichzelf nog niet kwalificeert als profilering maar dat dit afhangt van het doel: er moet bij de selectie of categorisering sprake zijn van een zekere beoordeling van een persoon of dossier. Het College hanteert iets andere definities van profilering en risicoprofilering dan de AVG en de AP, omdat zijn toetsingskader zich toespitst op risicoselectie in de context van opsporings- of controlebevoegdheden.

Verantwoord gebruik door de overheid

Risicoselectie helpt overheden om de beschikbare capaciteit voor publieke dienstverlening gerichter in te zetten, maar het kent ook risico’s. Doordat risicoselectie altijd onderscheid maakt, is er een risico op het schenden van het recht op non-discriminatie. Wanneer de risicoselectie is gebaseerd op persoonsgegevens moeten overheden aandacht hebben voor het recht op privacy en het recht op bescherming van persoonsgegevens.

Het is op grond van de AVG niet toegestaan om op basis van profilering volledig geautomatiseerd besluiten te nemen die rechtsgevolgen of aanmerkelijke effecten hebben voor natuurlijke personen. Daar is een specifieke wettelijke grondslag voor nodig. Wanneer deze ontbreekt kan geautomatiseerde risicoselectie enkel gebruikt worden om te beoordelen of acties jegens betrokkene nodig zijn, zoals navraag doen of informatie verzamelen. Eventuele rechtsgevolgen of aanmerkelijke effecten voor betrokkenen mogen pas tot stand komen na betekenisvolle menselijke tussenkomst. Het delen of bewaren van risicoselecties voor andere doeleinden zal al snel aanmerkelijke effecten tot gevolg hebben.

Het spreekt voor zich dat geautomatiseerde risicoselectie alleen kan worden ingezet indien dit in lijn is met wettelijke vereisten en de grondrechten gerespecteerd worden. De hierboven genoemde kaders van de Autoriteit Persoonsgegevens en het College voor de Rechten van de Mens helpen om hieraan te voldoen. Daarnaast hebben de Eerste Kamer en Tweede Kamer verzocht om een aantal aanvullende waarborgen. Deze pagina geeft een overzicht van de belangrijkste plichten en aanvullende richtlijnen voor verantwoord gebruik van geautomatiseerde risicoselectie door overheden.

Belangrijkste plichten voor overheden die geautomatiseerde risicoselectie gebruiken

Tip

De AVG verplicht organisaties om personen te informeren over de verwerking van persoonsgegevens. De AP adviseert om dit te doen in een online privacyverklaring. Op de website van de AP staat welke informatie in de privacyverklaring moet staan. Informatie over verwerkingen voor geautomatiseerde risicoselectie kunnen bijvoorbeeld op de volgende wijze worden vermeld:

[Organisatie] verwerkt persoonsgegevens voor geautomatiseerde risicoselectie. Het doel van de geautomatiseerde risicoselectie is [invullen]. De wettelijke grondslag om hiervoor persoonsgegevens te verwerken is [invullen]. Geautomatiseerde risicoselectie wordt alleen gebruikt om dossiers of aanvragen te selecteren die extra aandacht nodig hebben van een medewerker. Eventuele besluiten worden altijd genomen door een medewerker.

  • Het risico op discriminatie moet voorafgaand aan de inzet worden onderzocht en ondervangen en na ingebruikname periodiek worden onderzocht. Het gebruik van ‘ras’ (huidskleur, etniciteit en nationale of etnische herkomst) als selectiecriterium is altijd verboden bij risicoselectie ten behoeve van gerichte controle op normovertreding.
  • Eventuele rechtsgevolgen of andere aanmerkelijke effecten mogen pas intreden na betekenisvolle menselijke tussenkomst tussen de selectie van een dossier als risico en een eventueel besluit. Raadpleeg de handvatten die de AP heeft opgesteld.
  • Indien geautomatiseerde risicoselectie een rol speelde voorafgaand aan of in de voorbereidende fase van een Awb-besluit, moet dit uiterlijk in het besluit aan betrokkene kenbaar worden gemaakt.
  • Wanneer een AI-systeem wordt ingezet voor geautomatiseerde risicoselectie, kan sprake zijn van een hoog-risico AI-systeem onder de AI-verordening. In dat geval gelden extra vereisten, zoals het uitvoeren van een mensenrechtenimpactassessment. Gebruik de beslishulp AI-verordening om te bepalen wat er in jouw situatie van toepassing is.

Aanvullende richtlijnen voor overheden die geautomatiseerde risicoselectie gebruiken

  • Ook indien geen sprake is van een hoog-risico AI-systeem, is het sterk aanbevolen om een mensenrechtenimpactassessment (bijvoorbeeld het IAMA uit te voeren en deze periodiek te herhalen en publiceren. Neem indien nodig preventieve en mitigerende maatregelen.
  • Het uitgangspunt is dat geautomatiseerde risicoselectie-algoritmen worden gepubliceerd in het Algoritmeregister. Als deze algoritmen niet in categorie A (hoog-risico AI) vallen, vallen ze in categorie B (impactvolle algoritmen). Er kunnen redenen zijn om het algoritme of de gehanteerde criteria niet of slechts gedeeltelijk te publiceren; raadpleeg de handreiking. Licht in het register toe hoe wordt voldaan aan de wettelijke vereisten en de waarborgen voor geautomatiseerde risicoselectie zoals geadviseerd door de AP.

Tip

Geef in het Algoritmeregister bij de volgende velden aan hoe de inzet van geautomatiseerde risicoselectie voldoet aan de wettelijke vereisten en de waarborgen:

  • Wettelijke basis: noem de wettelijke grondslag voor het doel waarvoor de geautomatiseerde risicoselectie wordt gebruikt en voor verwerking van de (persoons)gegevens.
  • Risicobeheer: beschrijf in elk geval hoe de risico’s op discriminatie zijn onderzocht en ondervangen.
  • Menselijke tussenkomst: beschrijf hoe de uitkomsten door een mens gebruikt worden en hoe betekenisvolle menselijke tussenkomst tussen de risicoselectie en eventuele besluitvorming met rechtsgevolgen of aanmerkelijke effecten is gewaarborgd.
  • Impacttoetsen: geef aan dat een IAMA en, indien van toepassing, een DPIA zijn uitgevoerd en voeg een link toe naar de documenten.
  • Documenteer bij de inzet van geautomatiseerde risicoselectie de onderliggende besluitvorming over en verantwoording van het doel en de ontwikkeling van het model, de verantwoording van de gebruikte data en selectiecriteria, en de wijze waarop de waarborgen worden getroffen.
  • Gebruik naast geautomatiseerde risicoselectie ook aselecte steekproeven om dossiers te selecteren. Dit helpt om tunnelvisie en een zelfversterkende feedbackloop tegen te gaan.

Voorbeeld: RDI - Metrologie KDW

Door mogelijke statistische patronen in historische inspecties kan het algoritme bias vertonen in risico-inschattingen, omdat een groot deel van de gegevens gebruikt voor training afkomstig zijn van deze historische inspecties. Om dit risico te mitigeren zijn een aantal maatregelen geïmplementeerd, waaronder: 50% van alle inspecties worden uitgevoerd op basis van willekeur, dus niet op basis van het algoritme.

Bron: Algoritmeregister - Metrologie KDW

Voorbeeld: Inspectie Onderwijs - Prestatiemonitor

Omdat instellingen met hogere risicoscores vaker onderzocht worden, kan verkeerde risicoschatting ook blijven doorwerken (tunnelvisie). Daarom zijn we sinds september 2023 gestart met onderzoeken op locatie bij willekeurig geselecteerde onderwijsinstellingen. Hiermee kunnen we de kwaliteit van risicoschatting nog beter evalueren. Willekeurige selectie helpt namelijk bij het voorkomen van tunnelvisie.

Bron: Algoritmeregister - Prestatiemonitor

  • Zorg ervoor dat de risicoselectie geen invloed heeft op de inhoudelijke beoordeling van een dossier. De risicoselectie is een aanleiding voor verdere behandeling, maar zegt op zichzelf niets over een individuele casus. Neem maatregelen om bias, vooringenomenheid en tunnelvisie tegen te gaan.

Tip

Een algoritme kan de menselijke beoordelaar beïnvloeden, onder meer wanneer mensen te veel vertrouwen op de output van een algoritme (automation bias). De AP heeft handvatten opgesteld voor betekenisvolle menselijke tussenkomst, onder meer om automation bias tegen te gaan, zoals: * Zorg ervoor dat dossiers via verschillende routes aan medewerkers worden voorgelegd, zowel op basis van risicoselectie als op basis van een aselecte steekproef. * Een mogelijkheid is om medewerkers dossiers ‘blind’ te laten beoordelen, waarbij de medewerker geen kennis heeft van de wijze waarop een dossier is geselecteerd voor behandeling (risicoselectie of willekeurig). Een nadeel hiervan is dat de medewerker de risicoselectie zelf niet kan controleren. In hoeverre dit een optie is hangt af van het proces waarvoor de risicoselectie wordt ingezet. * Indien ‘blinde’ beoordeling niet mogelijk of onwenselijk is, dan is het zaak om goed na te denken over de manier waarop de risicoselectie aan de medewerker wordt gepresenteerd. Zorg voor een neutrale interface, bedenk of het noodzakelijk is om een score of risicocategorie te presenteren en stimuleer eigen onderzoek van de medewerker. Test wat het effect is van de verschillende manieren waarop de informatie aan medewerkers wordt voorgelegd en overweeg wat de beste optie is. Blijf mogelijke automation bias na invoering van de risicoselectie monitoren.

Bron: AP handvatten, hoofdstuk 2 'Technologie en ontwerp'

Voorbeeld van blind beoordelen: UWV - risicoscan verwijtbare werkeloosheid

Uit de risicoscan komt een selectie van signalen die medewerkers verder onderzoeken. Aan deze selectie wordt altijd een aantal (30%) willekeurig gekozen WW-aanvragen toegevoegd. De medewerker weet dus niet of een signaal uit de risicoscan komt of uit de aanvragen die willekeurig zijn toegevoegd. Zo zorgen we ervoor dat medewerkers niet worden beïnvloed en kritisch blijven op situaties die zij moeten onderzoeken.

Bron: Algoritmeregister - Risicoscan verwijtbare werkeloosheid

Voorbeeld van blind beoordelen: CIBG - selectiemodel BIG herregistratie

Een zorgverlener die de BIG herregistratie aanvraagt, hoeft deze aanvraag niet altijd met bewijsstukken te onderbouwen. Er wordt een willekeurige en gerichte steekproef uitgevoerd. Bij de gerichte steekproef zet het BIG-register een algoritme in. Het is voor de medewerkers die de bewijsstukken beoordelen niet inzichtelijk of de betreffende aanvraag in de willekeurige of gerichte selectie is gevallen. Dit om te voorkomen dat zij onbewust worden beïnvloed door deze informatie.

Bron: Algoritmeregister - Selectiemodel BIG herregistratie

  • Stel een discriminatieprotocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe.

Bronnen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.