Menselijke controle over algoritmes

Algoritmes van de overheid moeten onder controle blijven van mensen. Presteert het algoritme of AI-systeem niet goed, dan moet een mens dit kunnen aanpassen of stoppen.

Wat is menselijke controle?

Menselijke controle over een algoritme of AI-systeem betekent dat mensen invloed hebben op de uitkomsten. Mensen moeten het ontwerp van het algoritme of AI-systeem kunnen aanpassen. En mensen moeten het algoritme of AI-systeem kunnen stoppen. Zo kun je op tijd ingrijpen als er iets fout gaat.

Belang van menselijke controle

Algoritmes kunnen schade veroorzaken in de maatschappij. Gebruik je een algoritme of AI-systeem voor een publieke taak, dan moet je dit continu op een of andere manier controleren.

Ontwerp

Tijdens het ontwerp van een algoritme of AI-systeem controleer je bijvoorbeeld of het algoritme of AI-systeem op de juiste manier ‘getraind’ wordt. Maakt het bijvoorbeeld gebruik van een goede dataset, zonder bias, die representatief is voor de samenleving? En je controleert of het algoritme bepaalde groepen niet benadeelt.

Voordat je een algoritme of AI-systeem gaat gebruiken, is het belangrijk om het doel te bepalen.

Gebruik

Tijdens het gebruik van een algoritme of AI-systeem is menselijke controle belangrijk omdat de werking verandert in de loop der tijd:

Situaties kunnen veranderen. Het algoritme kan daarvan niet op de hoogte zijn. Een routeplanner kent bijvoorbeeld niet alle werkzaamheden of veranderingen aan de wegen.
AI-systemen leren soms nog bij. En soms is het niet duidelijk op welke data de uitkomsten gebaseerd zijn. Een beeldherkenningssysteem herkent bijvoorbeeld honden op foto’s op basis van de achtergrond in plaats van de hond zelf.
Nieuwe mogelijkheden ontstaan door technologische ontwikkelingen. Zo maken leerlingen en studenten massaal gebruik van large language modellen (LLM’s) zoals ChatGPT.

Mensen

Er is maatschappelijke consensus dat alleen natuurlijke personen in staat zijn om een goede (ethische) afweging te maken over wanneer en welke controle nodig is. Menselijke controle kan je dus niet automatiseren. Mensen mogen zich hierbij wel laten helpen door computers of andere technologie.

Aanpak menselijke controle

Je kunt op verschillende manieren controle houden over de prestaties van een algoritme of AI-systeem:

Technische controle: Controle uitoefenen op het algoritme zelf. Je bepaalt bijvoorbeeld dat een AI-systeem alleen mag 'bijleren’ wanneer de data voldoet aan bepaalde voorwaarden voor sociale representativiteit.
Contextuele controle: Controle van de omgeving van het algoritme. Je verbiedt bijvoorbeeld dat je organisatie het algoritme gebruikt in situaties met een hoog risico op schade.
Controle door kennis: Je probeert de werking en risico’s van je algoritmes zo goed mogelijk te begrijpen. Gaat het om een AI-systeem, dan heb je ook voldoende kennis over AI nodig.

Wanneer en hoe je controle uitoefent, hangt af van het soort algoritme en risico, de levenscyclusfase van je project en je expertise.

Bepaal in elk geval zo vroeg mogelijk wie in welke levenscyclusfase verantwoordelijk is voor menselijke controle. En beschrijf dit in een RACI-matrix of VERI-matrix. Want menselijke controle is nodig in verschillende fases, door verschillende mensen. Er is nooit 1 persoon verantwoordelijk voor de totale controle.

Tijdens het gebruik kun je menselijke controle op de volgende manieren uitoefenen:

Human in the loop: Een mens moet de acties starten van het algoritme of AI-systeem. Het werkt niet uit zichzelf.
Human on the loop: Mensen kunnen acties stoppen van het algoritme of AI-systeem.
Human above the loop: Mensen houden overzicht en kunnen ingrijpen bij strategische en ethische beslissingen.
Human before the loop: Het algoritme of AI-systeem interpreteert morele modellen die mensen vooraf bedenken. Deze oplossing is bedoeld voor volledig autonome algoritmes of AI-systemen. Dit zijn algoritmes die zelf beslissingen moeten nemen, bijvoorbeeld door tijdsdruk.

Feedback

Na het bepalen van de manier van controleren, bepaal je de manier waarop je feedback krijgt over het algoritme of AI-systeem: Wat voor soort informatie moet bij wie terechtkomen? Aan wie moet een gebruiker bijvoorbeeld rapporteren dat het AI-systeem niet meer goed werkt?

Vereisten

id	Vereisten
aia-01	Personeel en gebruikers zijn voldoende AI-geletterd
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht
aia-18	Als een hoog-risico AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
aia-19	Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen
aia-21	Menselijke controle van hoog-risico-AI-systemen wordt uitgevoerd door mensen met voldoende kennis en mogelijkheden
aia-22	De werking van hoog-risico-AI-systemen wordt gemonitord
aia-36	Klokkenluiders kunnen veilig melden dat een organisatie zich niet houdt aan de AI-verordening

Aanbevolen maatregelen

id	Maatregelen
org-12	Controleer en verbeter regelmatig de kwaliteit van het algoritme
pba-01	Beschrijf het probleem dat het algoritme moet oplossen
pba-02	Beschrijf het doel van het algoritme
pba-03	Beschrijf waarom een algoritme het probleem moet oplossen
owk-02	Maak een noodplan voor het stoppen van het algoritme
imp-03	Organiseer menselijke controle van het algoritme
imp-05	Spreek af hoe medewerkers omgaan met het algoritme of AI-systeem

Hulpmiddelen

Hulpmiddelen
Assessment List for Trustworthy Artificial Intelligence (ALTAI)
Framework for Meaningful Engagement

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.