Richt (technische) controlemechanismen in voor menselijk tussenkomst waarmee de output van een algoritme of AI-systeem kan worden gecontroleerd.
OntwerpOntwikkelenVerificatie en validatieImplementatieMonitoring en beheerProceseigenaarGebruikerAanbiederMenselijke controleGovernance
Maatregel¶
Richt (technische) controlemechanismen in voor menselijk tussenkomst waarmee de output van een algoritme of AI-systeem kan worden gecontroleerd.
Toelichting¶
- Algoritmes en AI-systemen worden vaak ingezet om beslissingen of besluitvorming van overheidsorganisaties te ondersteunen.
- Als overheidsorganisaties beslissingen of besluiten nemen, kan dit rechtsgevolgen hebben voor een betrokkene of deze op een andere manier in aanmerkelijke mate treffen.
- Algoritmes en AI-systemen zijn in de meeste gevallen niet foutloos.
- Daarom is het van belang dat deze output wordt gecontroleerd door een mens, zodat dit kan worden gecorrigeerd. Dit wordt 'menselijke tussenkomst' genoemd.
- Er is sprake van menselijke tussenkomst wanneer het menselijke toezicht op beslissingen of besluitvorming betekenisvol of zinvol is, en niet slechts symbolisch is.
- Menselijke tussenkomst moet worden uitgevoerd door iemand die bevoegd en bekwaam is om een beslissing of besluit te veranderen.
- Als een automatisch gegenereerde aanbeveling van een algoritme of AI-systeem (output) praktisch gezien standaard wordt overgenomen (bijvoorbeeld door deze al klikkend te accepteren), is er geen sprake meer van betekenisvolle menselijke tussenkomst. Hier is meer voor nodig.
- Het is van belang dat in een vroeg stadia wordt vastgesteld, bijvoorbeeld in de ontwerpfase, welke vormen van menselijke tussenkomst moeten worden ingezet en passend zijn gezien de specifieke algoritmische toepassing of AI-systeem. Dit kan worden gedaan op basis van uit te voeren risico analyses.
- In het geval van het uitoefenen van 'gebonden bevoegdheden', waarbij er weinig of geen beoordelingsruimte is om de beslissing of het besluit te wijzigen, kan het zijn dat menselijke tussenkomst geen meerwaarde heeft en kan worden volstaan met de automatisch gegenereerde output.
- Hierbij kan worden gedacht aan het opleggen van een boete in het kader van de Wet administratiefrechtelijke handhaving verkeersvoorschriften (Wahv) of het bijstellen van de hoogte van het recht op studiefinanciering op basis van veranderingen in het inkomen van een van de ouders.
- Er zullen technische en organisatorische maatregelen moeten worden getroffen om menselijke tussenkomst in te richten.
- Dit is ook het geval als een (externe) aanbieder algorimtes of AI-systemen levert. De gebruiksverantwoordelijke zal dan samen met aanbieder moeten onderzoeken hoe menselijke tussenkomst betekenisvol moet worden ingericht.
Bijbehorende vereiste(n)¶
| Vereiste | Uitleg |
|---|---|
| Beschermen van fundamentele rechten en vrijheden | Fundamentele vrijheden, mensenrechten en grondrechten worden beschermd bij de inzet van algoritmes en AI. |
| Gebruiksverantwoordelijken monitoren werking hoog risico AI-systeem | Gebruiksverantwoordelijken monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 72 AI Verordening |
| Recht op niet geautomatiseerde besluitvorming | Mensen hebben het recht om niet onderworpen te worden aan beslissingen die uitsluitend gebaseerd zijn op geautomatiseerde verwerking, zoals profilering, als dit aanzienlijke gevolgen voor hen heeft of hen op een andere manier aanzienlijk beïnvloedt. Dit recht biedt bescherming tegen mogelijke negatieve effecten van volledig geautomatiseerde besluitvormingssystemen, en waarborgt dat individuen kunnen rekenen op menselijke tussenkomst en beoordeling bij belangrijke beslissingen die hen kunnen treffen. Uitgangspunt is dat voor elk individueel geval een zorgvuldige beoordeling van de kenmerken en omstandigheden plaatsvindt voordat een besluit wordt genomen. |
| Toezichtmogelijkheden voor gebruikers | AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen. |
| Relevante feiten en belangen zijn bekend | Dit beginsel vereist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en genomen. Dit vraagt onder meer om een zorgvuldig onderzoek naar feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming. Dit betekent dat algoritmes en AI zodanig moet worden ontwikkeld en gebruikt, dat dit passend is ter ondersteuning van de wettelijke taak en de bijbehorende beslissing of besluitvorming. |
Bronnen¶
| Bron |
|---|
| Toetsingskader Algoritmes Algemene Rekenkamer, 2.01 |
| Onderzoekskader Algoritmes Auditdienst Rijk, SV.05 |
| Advies over geautomatiseerde selectietechniek Pels Rijcken, p.9 |
| Kamerstukken IT 2017-2018, 34 851, nr. (MvT UAVG), p. 120-121 |
| Algoritmekader |