Ga naar inhoud

De werking van hoog-risico-AI-systemen wordt gemonitord.

aia-22Monitoring en beheerProjectleiderMenselijke controle

Vereiste

De werking van hoog-risico-AI-systemen wordt gemonitord.

Toelichting

Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening.

Dit is van belang om passende maatregelen te kunnen treffen als het systeem onbedoeld anders gaat functioneren.

Als gebruiksverantwoordelijken redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat dat AI-systeem een risico vormt in de zin van artikel 79, lid 1, stellen zij de aanbieder of distributeur en de betreffende markttoezichtautoriteit hiervan zonder onnodige vertraging in kennis en onderbreken zij het gebruik van dat systeem.

Wanneer gebruiksverantwoordelijke een ernstig incident vaststellen, stellen zij ook onmiddellijk eerst de aanbieder hiervan in kennis, en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten van dat incident.

Als de gebruiksverantwoordelijke de aanbieder niet kan bereiken, is artikel 73 mutatis mutandis van toepassing. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijke van AI-systemen die de hoedanigheid van rechtshandhavingsinstanties hebben.

Voor gebruiksverantwoordelijke die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financiële diensten, wordt de monitoringsverplichting overeenkomstig de eerste alinea geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen en -mechanismen uit hoofde van het desbetreffende recht inzake financiële diensten.

Bronnen

Artikel 26(5) Verordening Artificiële Intelligentie.

Artikel 72 Verordening Artificiële Intelligentie.

Artikel 73 Verordening Artificiële Intelligentie.

Wanneer van toepassing?

AI-systeemAI-systeem voor algemene doeleindenGebruiksverantwoordelijke

Risico

Zonder monitoring door gebruiksverantwoordelijken en (waar nodig) het informeren van aanbieder, distributeur of markttoezichtautoriteit, kan de foutieve werking van een hoog risico AI-systeem niet worden gesignaleerd en hersteld.

Maatregelen

idMaatregelen
owp-15Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.
owp-16Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.
owp-21Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.
owp-22Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-24Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-28Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-36Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme.
dat-11Controleer de data op manipulatie en ongewenste afhankelijkheden
dat-12Controleer de input van gebruikers op misleiding
owk-02Maak een noodplan voor het stoppen van het algoritme
owk-09Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen
owk-09Zorg dat er (gevoelige) informatie niet kan lekken op basis van de output van het algoritme.
imp-03Richt de juiste menselijke controle in van het algoritme
imp-09Maak een openbaar besluit over de inzet van het algoritme
mon-05Maak een evaluatieplan voor tijdens het gebruik van het algoritme
mon-07Stel een plan op voor continue monitoring
mon-08Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen.