Discriminatieprotocol voor AI en algoritmes

Opmerking

Dit protocol is een opzet op hoofdlijnen. Graag ontvangen we van u feedback:

missen er cruciale stappen/onderdelen?
hoe bedoordeelt u de scope/reikwijdte van het protocol?
heeft u suggesties hoe afzonderlijke stappen verder uitegwerkt kunnen worden?

Je kan je feedback doorgeven door te mailen naar algoritmes@minbzk.nl of een issue aan te maken op Github.

Aanleiding

Naar aanleiding van de misstanden rond de Kinderopvangtoeslag heeft de Tweede Kamer een motie aangenomen van het lid Van Baarle (DENK) die de regering verzoekt om een discriminatieprotocol op te stellen “waarin wordt vastgesteld hoe er gehandeld wordt bij geconstateerde bevooroordeeldheid of discriminatie in overheidshandelen, waaronder het informeren van betrokkenen of gedupeerden, het extern onderzoeken van de gevolgen, mogelijke sanctionering van verantwoordelijken en waarborgen voor de toekomst”.

Dit document beschrijft de opzet van dit protocol en gaat in op het doel, de reikwijdte en de stappen die genomen dienen te worden. In deze versie beschrijft het protocol de stappen op hoofdlijnen. In 2025 zullen deze stappen verder uitgekristalliseerd worden, mede op basis van opgedane ervaringen bij en in overleg met overheden en ontwikkelingen die bijvoorbeeld volgen uit de implementatie van de AI-verordening.

Doel protocol

De motie bevat geen directe verwijzing naar algoritmes, maar wel indirect door o.a. te verwijzen naar de kinderopvangtoeslag, de registratie van afkomst door de IND, het profileren van ouderen met een migratieachtergrond in de controle op de Basisregistratie Personen. Het protocol moet een concreet handelingsperspectief bieden als er een vermoeden bestaat of geconstateerd wordt dat er sprake is van bevooroordeeldheid of discriminatie van een algoritmisch systeem en het menselijke handelen dat hieraan ten grondslag ligt of hieruit volgt. De nadruk van het protocol ligt op het inzicht krijgen wat er aan de hand is, het beperken van de schade, het informeren van gedupeerden en de afhandeling van de schade. Het protocol geldt voor de gehele overheid, is interbestuurlijk besproken en wordt opgenomen in het algoritmekader als geadviseerde maatregel.

Uitgangspunten

Relatie tot AI-wetgeving, algoritmebeleid

Het uitgangspunt van het gelijkebehandelingsrecht is dat onderscheid bijna altijd is verboden, tenzij de wet expliciet aangeeft dat het onderscheid wel is toegestaan of indirect onderscheid is gerechtvaardigd. Dit geldt ook als je gebruik maakt van AI en algoritmes. Incidenten hebben laten zien dat bij de bouw van algoritmes en het inrichten van datamanagement discriminerende effecten te laat werden ontdekt. Verschillende initiatieven (zowel beleid als wetgeving) richten zich dan ook vooral op het tijdig toetsen (signaleren, voorkomen, mitigeren) op mogelijke bevooroordeeldheid of discriminatie.
De AI-verordening bevat eisen voordat systemen de markt op mogen. Om wet- en regelgeving beter toepasbaar te maken is er voor overheden een algoritmekader opgesteld met hierin opgenomen een handzaam overzicht van de belangrijkste wettelijke vereisten en geadviseerde maatregelen. Een algoritmeregister kan het werk van controlerende en toezichthoudende instanties vergemakkelijken. Wat nog enigszins ontbreekt is een gestandaardiseerde werkwijze hoe te handelen bij een vermoeden of bij geconstateerde bevooroordeeldheid of discriminatie. Dus mocht het onverhoopt toch misgaan, alle voorzorgen ten spijt. Het discriminatieprotocol voor overheden biedt dan een concreet handelingsperspectief. De AI-verordening is bedoeld om risico’s te kunnen beheersen. Deels door, zoals gezegd, vooraf eisen te stellen, deels ook door voorschriften die zijn opgenomen over kwaliteits- en risicomanagement.
Die zijn echter nog niet geconcretiseerd in een soort draaiboek De AI-office van de Europese Commissie zal dit de komende tijd verder uitwerken. Mogelijk kan de inhoud van dit discriminatieprotocol hier inspiratie voor bieden. Of het discriminatieprotocol wordt nog bijgesteld aan de hand van de uitwerking door de Europese Commissie. Het protocol zal uiteindelijk onderdeel worden van het algoritmekader als een van de maatregelen om risico’s te beheersen. Het protocol sluit aan op definities, scope en reikwijdte zoals die in het algoritmekader zijn vastgesteld.

Aansluiting op bestaande routes

Bij het opstellen van het protocol is zoveel mogelijk aansluiting gevonden bij reeds bestaande routes, met name is gekeken naar het datalek-protocol die al goed en uitvoerig is beschreven.
Dit discriminatieprotocol volgt in hoofdlijnen dezelfde stappen en spitst toe op zich specifieke discriminatie onderwerpen. Met name als het gaat om herstel/compensatie is er binnen overheidsorganisaties veel in beweging en worden – afhankelijk van de context en het geval – werkwijzen voor herstel/compensatie uitgewerkt (bv. herstel Kinderopvangtoeslag, FSV Belastingdienst en Herstel schade Groningen of die overwogen worden (DUO)).

Aandacht voor gedupeerden

In het protocol worden de lessen die de Nationale Ombudsman heeft getrokken in “Herstel bieden: een vak apart” (2023) ter harte genomen. Uit het onderzoek is gebleken dat overheidsinstanties te weinig aandacht hebben voor de behoeften van gedupeerden. De focus ligt vaak op te snel handelen en werken vanuit de bestaande systemen waardoor het persoonlijk contact met gedupeerden snel naar de achtergrond verschuift

Aansluiten op werkprocessen van de uitvoering

Ook betrekt het protocol de lessen uit “De Staat van de Uitvoering” (2024). Van belang is om in het protocol recht te doen aan de complexiteit en de uitvoering de ruimte te geven om met hun kennis en achtergrond de gepaste oplossing te bedenken voor gedupeerden. Door aansluiting te zoeken op bestaande routes en werkwijzen en dus geen nieuwe te creëren wordt de uitvoering niet gecompliceerder gemaakt is de bedoeling.

Geen ‘one size fits all’

Meer aandacht geven aan de behoeften van gedupeerden en meer ruimte geven aan de uitvoering om een gepaste oplossing te bedenken betekenen dat het protocol richtinggevend is met daarin een aantal gestandaardiseerde stappen, maar ook ruimte biedend voor het maken van afwegingen, waarbij voor elke casus, gezocht moeten worden naar een passende oplossing voor gedupeerden.

Scope/reikwijdte/definities

Bias/discriminatie

Onrechtmatigheid volgt uit juridische normen, omdat inbreuk is gemaakt op het recht of het doen of nalaten was in strijd met een wettelijke plicht. Belangrijke wetgeving is wet gelijkebehandelingswetgeving (zoals Awgb en bepalingen in de AVG). Discriminatie is altijd verboden, onderscheid is bijna altijd verboden behalve als hier een wettelijke uitzondering of objectieve rechtvaardiging voor is. Discriminatie is verboden wanneer beschermde gronden (zoals ras, nationaliteit etc.) niet in acht worden gehouden; deze vervolgens leiden tot benadeling; en het gemaakte onderscheid niet objectief gerechtvaardigd kan worden. Het onderscheid moet een legitiem doel dienen en het gemaakte onderscheid moet voor het bereiken van dat doel, proportioneel, passend en noodzakelijk zijn. Het algoritmekader biedt een overzicht van deze wettelijke normen. Daarnaast kan het AI/algoritmegebruik in strijd zijn met het ongeschreven recht, met gewoonteregels, of zijn er normen die open zijn. Er wordt onderscheid gemaakt, dat in juridische zin gerechtvaardigd kan worden, maar vanuit maatschappelijk perspectief en/of vanuit morele of ethische gronden moeilijk kunnen verdedigen. Of er zijn normen die open zijn. Er kan bijvoorbeeld onderscheid gemaakt worden op basis van gronden die niet wettelijk beschermd zijn (bijvoorbeeld: opleiding, afstand tot ouderlijk huis), maar wel vervelend uitpakken voor mensen. Of wanner het gebruik van een algoritme onbedoeld hard uitpakt voor de burger is dit maatschappelijk onwenselijk.

Algoritmes en het gebruik van grote hoeveelheid data zijn bij uitstek geschikt om onderscheid te maken. Bij systematische vooringenomenheid is sprake van bias. Bias wordt in de algoritmische context gedefinieerd als een systematisch verschil in behandeling van bepaalde objecten, mensen of groepen in vergelijking met anderen. Bias (in de data, in het algoritme, of in de menselijk omgang met het systeem) is dus niet hetzelfde als discriminatie, maar kan wel in bepaalde gevallen tot discriminatie leiden op het moment dat bias niet objectief te rechtvaardigen is. Bias kan onder bepaalde omstandigheden wel moreel onwenselijk zijn. In de context van algoritmes en AI wordt in dit verband ook wel de term fairness gebruikt. Wanneer we het hebben over fairness hebben we het minder over de juridische kant van discriminatie en verboden onderscheid. Ook als er wel een objectieve rechtvaardiging bestaat voor een gemaakt onderscheid, kan afgevraagd worden of het gemaakte onderscheid ethisch wenselijk is. Die afweging is per context anders.

Belangrijk is te wijzen op proxies. Ontwikkelaars kunnen bijvoorbeeld missen dat in de context van het algoritme een variabele een proxy is voor een discriminatiegrond. De variabele ziet er ogenschijnlijk neutraal uit, maar kan wel verwijzen naar een discriminatiegrond.

Het protocol ziet toe op het gehele (werk)proces (met instructies e.d.) waar een AI/algoritme onderdeel van is. Dus richt zich niet alleen op de onrechtmatigheid die voortkomt uit de techniek van een algoritme of AI-systeem. Dus zowel, technisch, als organisatorisch. Dat wil zeggen dat ook het handmatige behandelen ná gebruik van algoritmes hier ook onder valt, bijv. het gebruik van een selectiemodel.

AI/algoritmes

De definities in het algoritmekader worden gevolgd. Een algoritme is: 'Een set van regels en instructies die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem op te lossen of een vraag te beantwoorden.’ En bij het AI-systeem is de tekst in de AI-verordening leidend: “een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen”.

Hoog risico/impactvol

Ook hier is het algoritmekader leidend en de handreiking die opgesteld is.

Hoog-risico AI (-systeem)

Daarmee bedoelen we altijd de definitie zoals deze in de AI-verordening wordt gehanteerd.

Impactvolle algoritmes

Impactvolle algoritmes omvatten de hoog-risico AI-systemen zoals gedefinieerd in de AI-verordening én de algoritmes die we daarnaast als impactvol beschouwen. Dan gaat het om algoritmes met directe rechtsgevolgen voor betrokkenen en/of het heeft invloed hoe de overheid de betrokkene of groep classificeert.

Deze classificaties zijn belang, in zoverre, dat ervanuit wet- en regelgeving specifieke eisen kunnen gelden die in relatie tot het discriminatieprotocol van belang zijn (zie bijv. het risicomanagement in de AI-verordening bij stap 4). Ook kan die classificatie helpen om te bepalen hoe groot de impact van de schade kan zijn voor gedupeerden (zie ook bij stap 2). En verder kan de classificatie helpen om extra alert te blijven als overheid op de mogelijke risico’s. Als het echter gaat om de reikwijdte waar dit protocol op van toepassing is, doet de classificatie er niet toe als het gaat om de mogelijke onrechtmatigheid die kan zijn ontstaan. Ook een laag risicosysteem kan bijvoorbeeld tot discriminatie leiden. Bovendien laten meldingen van mensen die vermoeden dat er iets mis is, zich niet leiden door de vraag of iets een hoog of laag risicosysteem is. Het protocol heeft verder betrekking op systemen die in gebruik zijn (pilots vallen hier dus buiten).

Stappen op een rij

Via verschillende kanalen (intern (medewerkers)/extern (burgers), wel/niet geautomatiseerd, van ontwikkelaars/gebruikers) worden signalen ontvangen (stap 1). Deze signalen worden centraal verzameld, geanalyseerd en gemonitord (stap 2) en een rapportage inclusief de resultaten van de analyse en voorstel over de (evidente) te nemen vervolgstappen om het voorval te verhelpen / corrigeren worden hoe ermee om te gaan voorgelegd aan de eindverantwoordelijke (stap 3); de eindverantwoordelijke neemt besluit en koppelt terug naar personen die signalen hebben afgegeven of gedupeerd zijn (stap 4) en vervolgens wordt mogelijk ontstane schade afgehandeld (stap 5). Op verschillende andere plekken zijn de stappen goed beschreven (zoals het datalekprotocol). Deze stappen gelden ook voor het discriminatieprotocol. De ‘bekende’ stappen hieronder worden kort geduid in de context van discriminatie.

Stap 1: Vermoeden van onrechtmatigheid

Een vermoeden van onrechtmatigheid begint vaak bij medewerkers, bijvoorbeeld bij medewerkers die dicht betrokken zijn bij systemen zoals dataspecialisten. Dit is de meer informele route. Een vermoeden kan ook ontstaan door eigen intern (audit/compliance) onderzoek. Een stap verder in de formele interne routes:

Via CIO/CDO die toezien op uitvoering van/naleving van beleid.
Interne toezichthouders, zoals de AVG-functionaris
Of een interne auditor (voor het Rijk bijvoorbeeld de ADR).

Een vermoeden kan ook van buitenaf komen. Via een meldpunt (bv. antidiscriminatievoorzieningen), of via een extern onderzoek/media (b.v. n.a.v. een WOO-verzoek), of van het College voor de Rechten van de Mens, of NGO’s. Vanuit het algoritmekader wordt geadviseerd om proactief te monitoren. Op het moment dat er een vermoeden ontstaat dat er mogelijk sprake kan zijn van onrechtmatigheid, is adviseert het algoritmekader het wenselijk om in aanvulling hierop een biastest te doen om het vermoeden bevestigd te krijgen. Een discriminatievermoeden is niet altijd zuiver statistisch te meten. Of een test iets toevoegt aan het onderzoek naar het vermoeden hangt af van het soort signaal dat is ontvangen. Soms zit de discriminatie niet in de statistische ongelijkheid, maar in de onjuiste omgang met die ongelijkheid. Met name ook op proxies omdat die ogenschijnlijk neutraal ogen, maar erg verraderlijk kunnen zijn. Hier zit raakvlak met stap 2, inzicht krijgen wat er aan de hand is. Met andere woorden: via verschillende kanalen (intern/extern, wel/niet geautomatiseerd, van ontwikkelaars/gebruikers) worden signalen ontvangen. Geadviseerd wordt om de uitvoerend directeur, interne toezichthouder of CIO/CDO alvast te informeren dat er een vermoeden is van een onrechtmatigheid en dat er verder onderzoek wordt ingesteld (stap 2).

Stap 2: Inzicht en overzicht

Nadere analyse en onderzoek door projectleiders/eindverantwoordelijken van het signaal of de melding met als doel te wegen of het signaal of vermoeden van onrechtmatigheid/discriminatie gegrond is. Indien het geval om een beter beeld te krijgen wat er aan de hand is en hoe groot het mogelijke probleem en de gevolgen zijn (niet in volgorde van prioriteit):

Wat is de oorzaak van mogelijke onrechtmatigheid in het algoritme?
Wanneer is het ontstaan?
Hoe lang na het ontstaan is het ontdekt?
Om wat voor data, gegevens, variabelen gaat het?
Hoe ziet het werkproces eruit waarin het algoritme wordt gebruikt?
Wat is de omvang? (individueel, groep, maatschappelijk niveau)
Om hoeveel mensen gaat het?
Om wat voor groepen mensen gaat het?

Het is belangrijk om concreet te maken hoe inzicht wordt verkregen en wie hiervoor verantwoordelijk is. Als er sprake is van een hoog risico, of impactvolle algoritme dan is het algoritme al mogelijk opgenomen in het algoritmeregister. Hier kan inzicht worden gekregen over de werking van het algoritme. Meer inzicht kan worden verkregen doordat projectleiders audits en biastoetsen (laten) doen op systemen al dan niet met hulp van interne auditdiensten, of onderzoeksbureaus, of juridische proportionaliteitstoetsen. Bij ingebruikname is dit waarschijnlijk al gedaan, maar het is van belang om goed te blijven toetsen op bias en niet-bedoelde effecten tijdens het gebruik. Rekening gehouden moet worden met eventuele doorwerking via informatie-uitwisseling aan derden of in andere systemen. In het algoritmekader worden verschillende toetsen beschreven.

Belangrijk om te onderzoeken is of de mogelijke onrechtmatigheid met name juridisch van aard is, of niet-juridisch, maar moreel onwenselijk. En of er sprake is van meerdere vormen van onrechtmatig handelen en zo ja welke? Bij stap 2 ook bepalen, indien al mogelijk, langs welke route een vermoeden van onrechtmatigheid afgehandeld dient te worden, bijv. het gebruik van nationaliteit kan mogelijk afgehandeld worden als een AVG-overtreding. AVG-toepasselijkheid sluit discriminatie echter niet uit. Ook als de AVG is overtreden is het zinvol om het optreden ook te toetsen aan discriminatienormen (zie stap 3 en verder). Het is belangrijk om hier in contact te treden met directeur, interne juridische adviseurs en AVG-functionaris, of via het winnen van extern juridisch advies.

Verder is het van belang om erachter te komen hoe groot het probleem is en hoe lang het probleem zich al voordoet en om een beeld te krijgen van de omvang van het probleem – gaat het om grote groepen, of om kleine groepen c.q. individuen - en de mogelijke gevolgen voor gedupeerden. Dus om de relatie tussen onrechtmatigheid en de ervaren schade/leed. De ervaring leert (zie Nationale Ombudsman) dat het van belang is om snel met (vertegenwoordigers van) gedupeerden in gesprek te gaan over de gevolgen en de mogelijke schade. Hieruit kan een gedifferentieerd beeld ontstaan waarbij groepen gedupeerden of individuen onderscheiden kunnen worden en verschillende beelden van de gevolgen en de geleden schade worden ervaren. Sommigen niet of nauwelijks, anderen ervaren mogelijk materiele en/of immateriële gevolgen/schade. Voor materiële schade geldt doorgaans een hogere bewijslast. Dit heeft ook gevolgen – zie stap 5 van het protocol.

Aan het einde van stap 2 is het van belang om de conclusie te trekken of er sprake is, of een sterk vermoeden is van discriminatie. Als dat niet het geval is dienen degenen die een melding gemaakt hebben geïnformeerd te worden. De conclusie dient in afstemming plaats te vinden met directeur, juridische adviseurs, intern toezicht (AVG functionaris) en eventueel met controleurs van beleid (CDO/CIO).

Stap 3: Beperken schade

Een rapportage inclusief de resultaten van de analyse en voorstel hoe ermee om te gaan wordt voorgelegd aan de eindverantwoordelijke. Deze zal eventueel in afstemming met intern toezicht (AVG functionaris), of controleurs van beleid (CDO/CIO):

Mitigerende maatregen nemen, niet alleen m.b.t. techniek, maar ook in processen en werkinstructies. De inzet van exit-strategie dient onderdeel te zijn van één van de mitigatietechnieken. D.w.z. bedenken hoe (onderdelen van een) algoritmisch systeem kan verdwijnen en misbaar kan worden gemaakt.
Stoppen met (delen) van algoritmische systeem en gerelateerde werkinstructies, indien mogelijk en proportioneel. Dit impliceert ook de plicht tot het hebben van een effectieve exit strategie voor algoritmische systemen.
Bij hogere complexiteit (extern) onderzoek om schade te kunnen beperken

Verder is het van belang om deze stap te bezien is de specifieke context, met name als het gaat om het mogelijk (tijdelijk) stoppen van het systeem. Belangrijk is om vast te stellen hoe essentieel de algoritmes zijn in de uitvoering. En hoe groot de mate van onrechtmatig handelen en de daarmee samenhangende schade? Als vastgesteld wordt dat sprake is van discriminatie dan moet het systeem stoppen, ook als het gaat om een essentieel systeem waarbij de fout uiteindelijk weinig gevolgen heeft voor mensen. Bij een vermoeden is de proportionaliteitsvraag van belang en kunnen (delen) tijdelijke stopgezet worden waarna aanpassingen plaatsvinden. Een belangrijk aandachtspunt is hier dat de stappen 1 en 2 mogelijk lang kunnen duren en het ongemakkelijk voelt om die uitkomsten af te wachten alvorens het algoritmische systeem en de gerelateerde werkinstructies (gedeeltelijk) te stoppen. Met andere woorden: afhankelijk van signalen/voorvallen kan het wenselijk zijn om een rapportage (stap 2) niet af te wachten.

Stap 4: Melden en informeren

Het melden en infomeren door een overheidsinstantie is afhankelijk van het risico en de gevolgen. Melden betreft aan instanties met controlerende en toezichthoudende taken, zowel intern, maar in deze stap vooral ook extern (bv. de AP, College voor de Rechten van de Mens, of Nationale Ombudsman). Informeren betreft de gedupeerden. In de verdere concretisering van de afzonderlijke stappen in dit protocol wordt in kaart gebracht of en zo ja welke bindende meldplichten er in de concrete situatie bestaan. Bij een hoog-risico AI-systeem is een melding procedure voor ernstige incidenten (art. 73) opgenomen in de AI-verordening. Discriminatie wordt als ernstig incident aangemerkt in art. 3 (49.C.). Ook voor de algoritmes –buiten de reikwijdte van de AI-verordening - is het melden en informeren van belang. Wat betreft melding dient dit te gebeuren aan de interne toezichthouder – zover nog niet op de hoogte – en afhankelijk van hoeveel mensen geraakt en gedupeerd zijn en hoe groot de impact is ook aan de externe toezichthouder en de Tweede Kamer (zie stap 2). De melding aan externe toezichthouders en Tweede Kamer volgt een orde van grootte. Na een vermoeden is er onderzoek gedaan (stap 2) om een beter beeld te krijgen van het probleem, of er concrete aanwijzingen zijn voor onrechtmatig handelen (dus meer dan een vermoeden) en de impact (schade en gevolgen voor mensen).
Wat betreft informeren geldt al een bestaande plicht om betrokkenen te informeren. Dit volgt o.a. uit de AVG (informeren betrokkenen wanneer gegevens onrechtmatig zijn verwerkt/gebruikt) en de Awb (motiveren van besluiten). Er is een verplichting om een nieuw (gemotiveerd) besluit te nemen als een gevolg van de geconstateerde onrechtmatigheid door een AI-toepassing is dat er onrechtmatige besluiten in de zin van de Awb zijn genomen. Die besluiten moeten dan worden hersteld. Ook hier is context van belang en zou het informeren aan mogelijk elke gedupeerde– dus op individueel niveau – (deels) achterwege kunnen blijven als:

Na het vaststellen van mogelijke onrechtmatigheid snel mitigerende maatregelen zijn genomen, waardoor er geen of zeer beperkte schade is geleden.
De ernst van de gevolgen (fysieke, materiele/immateriële schade) voor betrokkenen zeer beperkt blijkt te zijn (blijkens uit onderzoek en/of gesprekken met gedupeerden en in overleg met interne toezichthouder).
Het informeren van elke afzonderlijke betrokkene dient proportioneel te zijn, in verhouding te staan tot het probleem en de gevolgen. In elk geval het informeren van de Kamer, de toezichthouder en vertegenwoordigers van gedupeerden.

Als de overheid gedupeerden informeert dan zijn de belangrijkste doelen om excuses te maken, dat mensen die mogelijk geraakt zijn begrijpen wat er is gebeurd, wat de waarschijnlijke gevolgen zijn, welke mitigerende maatregelen zijn genomen en waar mensen terecht kunnen met vragen. Ook wordt vooruitgelopen op stap 5 doordat de overheid aangeeft uit te zoeken hoe de afhandeling van de schade verder gaat verlopen.

Stap 5: Registratie en afhandeling

In de eerste plaats is het van belang om – zover dat nog niet is gebeurd (zie stap 2)– het algoritme te registeren in het algoritmeregister volgens de definitie en scope van dit protocol. Bij de registratie wordt aangegeven wat er mis is gegaan, wat de precieze schade/impact voor betrokkenen (fysieke, materiele/immateriële schade) is geweest en welke mitigerende maatregelen zijn genomen. Daarnaast aanvullen met documentatie (de precieze schade en impact voor betrokkenen, inclusief fysieke, materiële en immateriële schade) omdat dit helpt bij het identificeren van trends en het aanpakken van systemische issues.

In de tweede plaats gaat het om klachtafhandeling en herstelprocedures. Verschillende overheidsorganisaties werken momenteel aan een werkwijze voor compensatie/herstel. Hieruit volgt op termijn mogelijk een (gestandaardiseerde) reguliere werkwijze. Ter inspiratie verwijst dit protocol zoveel mogelijk naar deze initiatieven. Uit die werkwijzen kan momenteel afgeleid worden dat een afhandeling contextafhankelijk is, relatief snel, of langer kan duren en dat hangt af van een aantal factoren.

Maatwerk versus rechtsgelijkheid

Uit stap 2 volgt al dat de impact van een onrechtmatige handeling divers kan zijn. Het kan gaan om groepen, maar de impact kan ook per individu verschillen. Naarmate we preciezer onderscheid maken naar individuen, gaat de vraag zich voordoen of we (voldoende) gelijke gevallen nog wel (voldoende) gelijk behandelen. Als we de gevolgen meer op individueel niveau beschouwen en daarop maatwerk willen, heeft dit in potentie implicaties in zowel juridisch, financieel als uitvoeringstechnisch opzicht. Daarnaast kunnen gedupeerden het gevoel krijgen dat de gemaakte keuzes arbitrair of oneerlijk zijn. Dit alles speelt in het bijzonder wanneer we maatwerk in individuele gevallen zouden willen toepassen. Daarbij geldt: maatwerk waar mogelijk en nodig, waarbij rekening wordt gehouden met rechtsgelijkheid.

Schade vergoeden of genoegdoening

Als maatwerk wordt toegepast kan de doorlooptijd langer worden. Het vraagt meer uitzoekwerk per geval, de vraag is of data over gedupeerden beschikbaar zijn, de looptijden (hoe lang de onrechtmatigheid al plaatsvindt) kunnen verschillend zijn en bepalen ook de duur van het uitzoekwerk, etc. Bij schadevergoeding gaat het om het precies vaststellen welke schade de gedupeerden door onrechtmatig algoritmegebruik heeft opgelopen. Dat kan dus enige tijd in beslag nemen. Een alternatief is een genoegdoening, wat voor gedupeerden bevredigend kan zijn, maar nooit optimaal omdat het precieze uitzoekwerk achterwege blijft. Een mogelijke optie is om naast maatwerk een normbedrag voor te stellen die voor alle gedupeerden gelijk is. Ook hier is het belangrijk om uit te zoeken of een genoegdoening bij gedupeerden positief wordt ontvangen en als passend wordt ervaren. Een vorm van genoegdoening zou bovendien kunnen dienen om de excuses te benadrukken (zie ook stap 4). Het hoeft dus ook niet altijd een financiële compensatie te zijn en er kan ook gekeken worden naar alternatieven, zoals een excuusbrief. Het is belangrijk om uit te zoeken wat het beste recht doet aan de erkenning. Dat hoeft niet altijd geld te zijn, dat kan voor sommige burgers mogelijk ook voelen als een gemakkelijke afdoening van het probleem.

Juridische of morele overwegingen

Voor meer juridische zekerheid zijn uitspraken van belang, denk met name aan uitspraken van rechters. In een specifieke casus kunnen in het proces meerdere juridische uitspraken worden gedaan, b.v. van een toezichthouder, tot lagere rechter en tot hoogste rechter die met een finaal oordeel kan komen. Een burger kan ook altijd de civiele route bewandelen wanneer die een vermoeden heeft van discriminatie en/of al een oordeel heeft van het College. Juridische uitspraken kunnen met name bij schadeafhandeling en het leveren van maatwerk meer duidelijkheid geven. Met name ook als gedupeerden besluiten om de overheid aansprakelijk te stellen. Maar een juridisch proces kan enige tijd duren en de vraag is of er vooruitlopend op een finale uitspraak al conclusies kunnen worden getrokken. Bij morele overwegingen ten aanzien van onrechtmatigheid speelt dit niet. Via moreel beraad, kan tot morele oordeelsvorming worden gekomen – niet alleen of het algoritme moreel rechtmatig is of niet, maar ook ten aanzien van afhandelingen en herstel - en dat hoeft niet veel tijd in beslag te nemen.

Over aansprakelijkheid

De motie vraagt om mogelijke sanctionering van verantwoordelijken. De overheid kan aansprakelijk gesteld worden voor onrechtmatig handelen. Individuele ambtenaren ook, maar die zijn in de regel ambtelijk onschendbaar. Dat wil zeggen dat ambtenaren niet strafrechtelijk vervolgd kunnen worden omdat ze handelden in het algemeen belang. Mocht blijken dat hun handelen gericht is op eigen gewin of eigen belang, dan zou de strafrechtelijke immuniteit opgeheven kunnen worden. Daar moeten wel sterke aanwijzingen voor zijn. Al langer speelt de politieke vraag of de immuniteit van ambtenaren beperkter moet worden. Dat kan het geval zijn als blijkt dat ambtenaren niet zozeer handelen op basis van eigen gewin, of eigen belang, maar moedwillig buiten de vastgestelde beleidskaders treden en zelfstandig handelen. Ook hier moeten sterke aanwijzingen voor zijn.

Het protocol noch de toezichthouders kan weinig zeggen wat voor sancties er moeten worden opgelegd aan medewerkers. Het is aan een organisatie zelf om hier adequaat in te handelen. Aangeraden wordt om een oplossing te bedenken die past binnen het arbeidsrecht en proportioneel staat aan de onrechtmatige acties.

Tot slot

Een onrechtmatige handeling kan grote impact hebben op mensen. Uiteindelijk zal het discriminatieprotocol protocol bijdragen aan het beheersen van risico’s en een lerende organisatie met maatregelen in de sfeer van opvolging in de vorm van organisatorische veranderingen en aanpassingen van het algoritme. Inzichten uit de oorzakenanalyse worden verwerkt in de werkprocessen (feedbackloop) om de algoritmen te verbeteren. Met bias toetsen en validaties worden betrokkenen bewust van de juridische en morele implicaties van het algoritmisch werk en het belang van hoe om te gaan met bias in het werk.

In het protocol wordt dus het belang onderschreven om goede biastesten/validaties te doen. Dit is een werkveld in progress. Hert kan nog lastig zijn om te controleren op discriminatie. Dit komt o.a. doordat a) er nog geen juridische en ethische duidelijkheid is of bijv. tijdens de data understanding gecontroleerd mag worden op discriminatie d.m.v. controlevariabelen gebaseerd op bijzondere persoonsgegevens, zoals afkomst. De vraag is of de AI-verordening hier meer ruimte/duidelijkheid over verschaft. Dit zou nog verder vormgegeven kunnen worden (bv mogelijk met CBS die over gevoelige gegevens beschikt).

De verschillende stappen in het protocol dienen nog verder uitgewerkt en geconcretiseerd te worden. Bijvoorbeeld in hoeverre een mogelijke onrechtmatigheid met name juridisch van aard is, of niet-juridisch, maar moreel onwenselijk. En of dat verschil maakt voor de vervolgstappen.