Ga naar inhoud

De werking van hoog-risico-AI-systemen wordt gemonitord

aia-22Monitoring en beheerProjectleiderMenselijke controle

Vereiste

De werking van hoog-risico-AI-systemen wordt gemonitord.

Toelichting

Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening.

Dit is van belang om passende maatregelen te kunnen treffen als het systeem onbedoeld anders gaat functioneren.

Als gebruiksverantwoordelijken redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat dat AI-systeem een risico vormt in de zin van artikel 79, lid 1, stellen zij de aanbieder of distributeur en de betreffende markttoezichtautoriteit hiervan zonder onnodige vertraging in kennis en onderbreken zij het gebruik van dat systeem.

Wanneer gebruiksverantwoordelijke een ernstig incident vaststellen, stellen zij ook onmiddellijk eerst de aanbieder hiervan in kennis, en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten van dat incident.

Als de gebruiksverantwoordelijke de aanbieder niet kan bereiken, is artikel 73 mutatis mutandis van toepassing. Deze verplichting geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijke van AI-systemen die de hoedanigheid van rechtshandhavingsinstanties hebben.

Voor gebruiksverantwoordelijke die in de hoedanigheid van financiële instellingen onderworpen zijn aan eisen met betrekking tot hun interne governance, regelingen of processen uit hoofde van het Unierecht inzake financiële diensten, wordt de monitoringsverplichting overeenkomstig de eerste alinea geacht te zijn vervuld door te voldoen aan de regels inzake interne governance, regelingen of processen en -mechanismen uit hoofde van het desbetreffende recht inzake financiële diensten.

Bronnen

Artikel 26(5) Verordening Artificiële Intelligentie.

Artikel 72 Verordening Artificiële Intelligentie.

Artikel 73 Verordening Artificiële Intelligentie.

Van toepassing op

Deze vereiste is van toepassing voor onderstaande (combinatie van) labels. Gebruik de beslishulp voor hulp bij wat er in jouw situatie van toepassing is.

AI-systeemAI-systeem voor algemene doeleindenHoog risico AI-systeemGebruiksverantwoordelijkeGeen transparantieverplichtingTransparantieverplichting

Risico

Zonder monitoring door gebruiksverantwoordelijken en (waar nodig) het informeren van aanbieder, distributeur of markttoezichtautoriteit, kan de foutieve werking van een hoog risico AI-systeem niet worden gesignaleerd en hersteld.

Maatregelen

idMaatregelen
owp-15Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
owp-16Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst
owp-20Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding
owp-21Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-23Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-27Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-34Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme
dat-10Controleer de data op manipulatie en ongewenste afhankelijkheden
dat-11Controleer de input van gebruikers op misleiding
owk-02Maak een noodplan voor het stoppen van het algoritme
owk-09Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen
owk-10Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme
imp-03Richt de juiste menselijke controle in van het algoritme
imp-08Maak een openbaar besluit over de inzet van het algoritme
mon-04Maak een evaluatieplan voor tijdens het gebruik van het algoritme
mon-07Stel een plan op voor continue monitoring
mon-08Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen