Ga naar inhoud

Hoog-risico-AI-systemen zijn voorzien van een risicobeheersysteem

aia-03OrganisatieverantwoordelijkhedenProjectleiderGovernance

Vereiste

Voor AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

Toelichting

Het systeem voor risicobeheer moet bestaan uit een gepland iteratief proces, dat tijdens de gehele levensduur van een hoog-risico AI-systeem wordt doorlopen. Een organisatie moet ervoor zorgen dat een risicobeheersysteem wordt ingericht in de organisatie.

Het risicobeheersysteem moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten met passende maatregelen.

Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van de AI-verordening zijn genomen.

Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten.

Hierin moeten ook maatregelen zitten voor redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. De aanbieder moet aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag.

Bij het vaststellen van passende risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes hebben gedocumenteerd en voorzien van een toelichting en, in voorkomend geval, deskundigen en externe belanghebbenden hierbij betrekken.

Bronnen

Artikel 9(1) Verordening Artificiële Intelligentie

Van toepassing op

Deze vereiste is van toepassing voor onderstaande (combinatie van) labels. Gebruik de beslishulp voor hulp bij wat er in jouw situatie van toepassing is.

AI-systeemAI-systeem voor algemene doeleindenHoog risico AI-systeemAanbiederGeen transparantieverplichtingTransparantieverplichting

Risico

Het ontbreken van risicobeheer kan leiden tot schade aan gebruikers of derden en wettelijke aansprakelijkheid voor de aanbieder.

Maatregelen

idMaatregelen
org-00Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
org-03Maak een plan voor het omgaan met risico’s
owp-15Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
owp-16Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst
owp-20Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding
owp-21Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-23Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-27Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-28Maak vereisten voor algoritmes onderdeel van de Service Level Agreement
owp-31Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes
ver-04Zorg voor een representatieve testomgeving
mon-04Maak een evaluatieplan voor tijdens het gebruik van het algoritme
mon-07Stel een plan op voor continue monitoring