Transparantie in ontwerp voor hoog-risico AI

OntwerpOntwikkelenVerificatie en validatieImplementatieMonitoring en beheerTransparantie

Vereiste

AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruiksverantwoordelijken in staat te stellen de output van een systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiksverantwoordelijke zoals uiteengezet in afdeling 3 van Artikel 13 van de AI verordening.

Toelichting

AI-systemen met een hoog risico worden ontworpen en ontwikkeld met een hoge mate van transparantie, zodat gebruikers de output van het systeem kunnen begrijpen en correct kunnen gebruiken. Dit zorgt ervoor dat de aanbieders en gebruikers kunnen voldoen aan de verplichtingen zoals uiteengezet in de relevante regelgeving, waardoor de betrouwbaarheid en verantwoordelijkheid van het gebruik van deze systemen worden verzekerd. In artikel 13 lid 3 is een overzicht gegeven van de informatie die gebruikersinstructies tenminste moeten bevatten.

Bronnen

Bron
Artikel 13(1) Verordening Artificiële Intelligentie

Wanneer van toepassing?

RekenregelMachine learningGeneratieve AI

niet-impactvol	impactvol

niet-impactvol	impactvol	hoog-risico-ai

niet-impactvol	impactvol	hoog-risico-ai

Risico

Onvoldoende transparantie kan leiden tot een gebrek aan begrip over hoe het AI-systeem functioneert, wat de effectiviteit van de inzet ervan kan belemmeren en de naleving van wettelijke verplichtingen in gevaar kan brengen.

Maatregelen

AllenGovernancePublieke inkoop

Maatregel	Uitleg
Bespreek de vereiste met aanbieder of opdrachtnemer	Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.	Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving	Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisen	Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaarden	Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomst	Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.	Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.
Stel vast of het gaat om een algoritme en/of AI-systeem en wat de bijbehorende risicoclassificatie is om te bepalen welke vereisten hierop van toepassing zijn.	Het verschilt per typen algoritmen of AI-systemen welke vereisten hierop van toepassing zijn en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie.

Maatregel	Uitleg

Maatregel	Uitleg
Bespreek de vereiste met aanbieder of opdrachtnemer	Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.	Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving	Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisen	Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaarden	Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomst	Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.	Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.
Stel vast of het gaat om een algoritme en/of AI-systeem en wat de bijbehorende risicoclassificatie is om te bepalen welke vereisten hierop van toepassing zijn.	Het verschilt per typen algoritmen of AI-systemen welke vereisten hierop van toepassing zijn en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie.