Ga naar inhoud

Verboden toepassingen bij evaluatie of classificatie van personen of groepen personen

ProbleemanalyseOntwerpDataverkenning en datapreparatieOntwikkelenVerificatie en validatieImplementatieMonitoring en beheerUitfaserenGovernanceFundamentele rechten

Vereiste

Het in de handel brengen, het in gebruik stellen of het gebruiken van AI-systemen voor de evaluatie of classificatie van natuurlijke personen of groepen personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

  1. de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

  2. de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is.

Toelichting

AI-systemen die door publieke of door private actoren worden gebruikt om een beoordeling van natuurlijke personen (“social scoring”) uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en nondiscriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen natuurlijke personen op basis van meerdere datapunten met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken gedurende een bepaalde periode. De sociale score die deze AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van personen of hele groepen personen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. AI-systemen die onaanvaardbare scoringpraktijken met zich meebrengen en tot dergelijke nadelige of ongunstige resultaten leiden, moeten daarom worden verboden. Dat verbod mag geen afbreuk doen aan wettige praktijken voor de evaluatie van natuurlijke personen die worden verricht voor een specifieke doeleinde in overeenstemming met het Unierecht en het nationale recht.

Bronnen

Bron
Artikel 5 lid 1 sub c AI Verordening

Wanneer van toepassing?

Risico

Het risico ontstaat dat personen of bepaalde groepen worden gediscrimineerd en uitgesloten, wat een schending kan inhouden van het recht op waardigheid, non-discriminatie en van waarden als gelijkheid en rechtvaardigheid.

Maatregelen

MaatregelUitleg
MaatregelUitleg
MaatregelUitleg