Menselijke controle
Bij het uitvoeren van publieke taken is het van belang dat natuurlijke personen kunnen controleren of deze taken correct worden uitgevoerd en dat er kan worden bijgestuurd als dat nodig is. Datzelfde geldt voor als een overheidsinstantie algoritmes of AI-systemen gebruiken bij het ondersteunen van deze taken. Het is van belang dat zowel bij de ontwikkeling en als het gebruik door natuurlijke personen kan worden ingegrepen en dat er sprake is van betekenisvolle menselijke tussenkomst waar dat nodig is. Hier kan worden gedacht aan het verkeerd (gaan) werken van een AI-systeem en dat hierdoor de output onbetrouwbaar en onjuist wordt. In dergelijke gevallen zal een natuurlijk persoon in staat moeten zijn om deze situatie te signaleren en het algoritme of AI-systeem (tijdelijk) te kunnen stoppen.
Het verschilt, afgewogen tegen de potentiële negatieve gevolgen of risico's voor personen, welke mechanismen moeten worden ingericht in en rondom algoritmes en AI-systemen. Hoog risico AI-systemen zullen een intensiever inrichting van menselijke controle nodig hebben, bijvoorbeeld met meerdere mensen die de output controleren, dan algoritmes die niet impact vol zijn. Om deze controles uit te kunnen voeren zullen deze personen moeten beschikken over de noodzakelijke competenties, opleiding en bevoegdheden om deze taak uit te voeren. Er zullen ook functionele eisen aan het systeem moeten worden gesteld, zodat ook daadwerkelijk kan worden ingegrepen. Hierbij kan worden gedacht aan een stopknop die kan worden gebruikt waarmee die werking van het algoritme of AI-systeem kan worden gepauzeerd. Gedurende de gehele levenscyclus is het van belang dat menselijke controle wordt gepositioneerd en dat bijbehorende taken goed kunnen worden uitgevoerd.
In dit bouwblok van het Algoritmekader wordt uitgewerkt aan welke vereisten moet worden voldaan met betrekking menselijke controle. Dit wordt aangevuld met praktische maatregelen die kunnen worden toegepast ter inspiratie voor organisaties. Deze vereisten en maatregelen worden gekoppeld aan de levenscyclus, zodat zowel bij de ontwikkeling als het gebruik kan worden geraadpleegd hoe organisaties invulling kunnen geven aan menselijk controle.
Vereisten¶
| Vereiste | Uitleg |
|---|---|
| Bevorder AI-geletterdheid van personeel en gebruikers | Aanbieders en exploitanten van AI-systemen moeten ervoor zorgen dat hun personeel en andere betrokkenen voldoende kennis hebben van AI. Dit omvat het bevorderen van kennis over de techniek, evenals kennis over de context waarin de AI-systemen worden gebruikt en de gebruikers van deze systemen. Het doel is om een adequaat niveau van begrip en vaardigheden te waarborgen, wat bijdraagt aan een verantwoord gebruik van AI en het minimaliseren van risico's. |
| Natuurlijke personen die menselijk toezicht uitvoeren zijn bekwaam, opgeleid, beschikken over autoriteit en krijgen ondersteuning | Gebruiksverantwoordelijken dragen het menselijk toezicht over een hoog risico AI-systeem op aan natuurlijke personen die over de nodige bekwaamheid, opleiding en autoriteit beschikken en de nodige ondersteuning krijgen. |
| Gebruiksverantwoordelijken monitoren werking hoog risico AI-systeem | Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening |
| Toezichtmogelijkheden voor gebruikers | AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen. |