Ga naar inhoud

Verplicht risicobeheersysteem voor hoog-risico AI

ProbleemanalyseOntwerpDataverkenning en datapreparatieOntwikkelenVerificatie en validatieImplementatieMonitoring en beheerUitfaserenGovernance

Vereiste

Voor AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

Toelichting

Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van de AI-verordening zijn genomen.

Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systemen voor de gezondheid, veiligheid en grondrechten. Hierin moeten ook maatregelen zitten voor redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systemen met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systemen waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag.

Bronnen

Bron
Artikel 9(1) Systeem voor risicobeheer - AI verordening

Wanneer van toepassing?

Risico

Het ontbreken van risicobeheer kan leiden tot schade aan gebruikers of derden en wettelijke aansprakelijkheid voor de aanbieder.

Maatregelen

MaatregelUitleg
Bespreek de vereiste met aanbieder of opdrachtnemerGa met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijvingDoor aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisenDoor de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaardenDoor de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomstDoor de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Maak de vereiste onderdeel van Service Level AgreementOnderzoek of het relevant is om de vereiste onderdeel te maken van de Service Level Agreement. Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening.
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomstHet is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.
MaatregelUitleg
MaatregelUitleg
Bespreek de vereiste met aanbieder of opdrachtnemerGa met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijvingDoor aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisenDoor de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaardenDoor de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomstDoor de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Maak de vereiste onderdeel van Service Level AgreementOnderzoek of het relevant is om de vereiste onderdeel te maken van de Service Level Agreement. Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening.
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomstHet is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.