Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor het beoogde algoritme

dat-02Dataverkenning en datapreparatieVerificatie en validatieOntwikkelaarBeleid en adviesPrivacy en gegevensbeschermingDataBias en non discriminatie

Maatregel

Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor de beoogde toepassing.

Toelichting

Analyseer welke variabelen en risicoindicatoren geschikt en wenselijk zijn om te gebruiken als inputdata voor het beoogde algoritme.

Opmerking

Deze maatregel is specifiek relevant voor de situatie van risicoprofilering. Maar ook voor andere toepassingen zijn deze stappen aanbevolen.

Doorloop voor iedere potentiële indicator de volgende stappen:

1. Ga na of het wettelijk gezien is toegestaan om de variabele te gebruiken voor de beoogde toepassing:

   • De Algemene Wet Gelijke Behandeling verbiedt het directe onderscheid op basis van verschillende kenmerken die bijvoorbeeld relatie hebben met ras of nationaliteit.
   • De Algemene Verordening Gegevensbescherming verbiedt het onrechtmatig verwerking van persoonsgegevens.

2. Ga na of de variabele of indicator een proxy is voor kwetsbare groepen. Controleer bijvoorbeeld of er een correlatie bestaat tussen de variabele en nationaliteit of ras, of maak gebruik van bestaande (wetenschappelijke) inzichten uit bijvoorbeeld openbare data. Wanneer je data wilt verwerken om deze proxy's te onderzoeken, houdt dan rekening met geldende wet- en regelgeving. Het verzamelen en verwerken van data over kwetsbare groepen kan in strijd zijn met privacy vereisten uit bijvoorbeeld de Algemene Verordening Gegevensbescherming. Het is daarom van belang om duidelijk afwegingen te maken tussen privacy en het analyseren van proxy's die rekening houdt met de juridische en ethische vereisten.

3. Bepaal of de datakwaliteit van de variabele of indicator voldoende is. Bepaal of de beschikbare data voldoende representatief is voor het fenomeen dat bedoeld wordt.

4. Ga na of de variabele of indicator een statistisch verband heeft met het beoogde doel. Maak hiervoor gebruik van een aselecte steekproef uit de relevante populatie om de hypothese dat de variabele verband heeft met het beoogde doel statistisch te toetsen. Toets of dit verband significant is.

5. Ga na of de variabele of indicator een inhoudelijk verband heeft met het beoogde doel. Naast een statistisch verband kan ook een inhoudelijk verband bijdragen om het gebruik van de indicator te rechtvaardigen.

Bijbehorende vereiste(n)

Bekijk alle vereisten

Vereiste
grw-02 - Algoritmes discrimineren niet
avg-01 - Persoonsgegevens worden op een rechtmatige manier verwerkt
avg-04 - Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair
avg-10 - Besluiten die levens kunnen beïnvloeden, zijn niet volledig geautomatiseerd

Risico

Indien de variabelen niet voldoende worden getoetst op geschikheid bestaat het risico dat deze variabelen onrechtmatig worden gebruikt, of dat het gebruik van deze variabelen leidt tot nadelige effecten. Dit kan leiden tot discriminerende effecten van het algoritme.

Bronnen

• Toetsingskader risicoprofilering – Normen tegen discriminatie op grond van ras en nationaliteit, College voor de Rechten van de Mens
• Advies geautomatiseerde besluitvorming, Autoriteit Persoonsgegevens

Voorbeeld

Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl