Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten

aia-29OntwerpVerificatie en validatieProjectleiderBeleid en adviesFundamentele rechten

Vereiste

Voordat een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2 AI-verordening, in gebruik wordt genomen, met uitzondering van AI-systemen met een hoog risico die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied, voeren operatoren die publiekrechtelijke instellingen zijn of particuliere entiteiten zijn die openbare diensten verlenen, en operatoren van AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, onder b) en c), een beoordeling uit van de gevolgen voor de grondrechten die het gebruik van een dergelijk systeem kan opleveren.

Toelichting

Voordat een AI-systeem met een hoog risico in gebruik wordt genomen, moeten publieke instellingen of particuliere entiteiten die openbare diensten leveren, en operators van bepaalde AI-systemen, een beoordeling uitvoeren van de impact op de grondrechten die het gebruik ervan kan hebben. Deze evaluatie is bedoeld om potentiële risico's te identificeren die kunnen voortvloeien uit het gebruik van dergelijke systemen en om passende maatregelen te nemen om deze risico's te beheersen. Het doel is om de bescherming van grondrechten te waarborgen bij het gebruik van AI-systemen met een hoog risico, met name in sectoren waar deze systemen cruciale diensten leveren aan het publiek.

Bronnen

• Artikel 27(1) Verordening Artificiële Intelligentie
• Artikel 6.2 Verordening Artificiële Intelligentie
• Bijlage III.2 en III.5 Verordening Artificiële Intelligentie

Wanneer van toepassing?

AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke

Risico

Het niet uitvoeren van deze beoordeling kan leiden tot schendingen van de grondrechten, juridische complicaties en verlies van vertrouwen van het publiek in het gebruik van AI-systemen door overheids- en openbare dienstverlenende entiteiten.

Maatregelen

id	Maatregelen
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme
owp-06	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-12	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.
owp-13	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.
owp-18	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.
owp-19	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-21	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-25	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owk-02	Maak een noodplan voor het stoppen van het algoritme
ver-01	Toets het algoritme op bias
imp-02	Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren

Hulpmiddelen

Hulpmiddelen
Impact Assessment Mensenrechten en Algoritmes