Ga naar inhoud

Menselijke controle over algoritmes

Algoritmes van de overheid moeten onder controle blijven van mensen. Presteert het algoritme niet goed, dan moet een mens dit kunnen aanpassen of stoppen.

Wat is menselijke controle?

Menselijke controle over een algoritme of AI-systeem betekent dat mensen invloed hebben op de uitkomsten. Mensen moeten het ontwerp van het algoritme kunnen aanpassen. En mensen moeten het algoritme kunnen stoppen. Zo kun je op tijd ingrijpen als er iets fout gaat.

Belang van menselijke controle

Algoritmes kunnen schade veroorzaken in de maatschappij. Gebruik je een algoritme voor een publieke taak, dan moet je dit continu op een of andere manier controleren.

Ontwerp

Tijdens het ontwerp van een algoritme of AI-systeem controleer je bijvoorbeeld of het algoritme op de juiste manier ‘getraind’ wordt. Maakt het bijvoorbeeld gebruik van een goede dataset, zonder bias, die representatief is voor de samenleving? En je controleert of het algoritme bepaalde groepen niet benadeelt.

Voordat je een algoritme gaat gebruiken, is het belangrijk om het doel te bepalen.

Gebruik

Tijdens het gebruik van een algoritme is menselijke controle belangrijk omdat de werking verandert in de loop der tijd:

  • Situaties kunnen veranderen. Het algoritme kan daarvan niet op de hoogte zijn. Een routeplanner kent bijvoorbeeld niet alle werkzaamheden of veranderingen aan de wegen.
  • AI-systemen leren soms nog bij. En soms is het niet duidelijk op welke data de uitkomsten gebaseerd zijn. Een beeldherkenningssysteem herkent bijvoorbeeld honden op foto’s op basis van de achtergrond in plaats van de hond zelf.
  • Nieuwe mogelijkheden ontstaan door technologische ontwikkelingen. Zo maken leerlingen en studenten massaal gebruik van large language modellen (LLM’s) zoals ChatGPT.

Mensen

Er is maatschappelijke consensus dat alleen natuurlijke personen in staat zijn om een goede (ethische) afweging te maken over wanneer en welke controle nodig is. Menselijke controle kan je dus niet automatiseren. Mensen mogen zich hierbij wel laten helpen door computers of andere technologie.

Aanpak menselijke controle

Je kunt op verschillende manieren controle houden over de prestaties van een algoritme:

  • Technische controle: Controle uitoefenen op het algoritme zelf. Je bepaalt bijvoorbeeld dat een AI-systeem alleen mag 'bijleren’ wanneer de data voldoet aan bepaalde voorwaarden voor sociale representativiteit.
  • Contextuele controle: Controle van de omgeving van het algoritme. Je verbiedt bijvoorbeeld dat je organisatie het algoritme gebruikt in situaties met een hoog risico op schade.
  • Controle door kennis: Je probeert de werking en risico’s van je algoritmes zo goed mogelijk te begrijpen. Gaat het om een AI-systeem, dan heb je ook voldoende kennis over AI nodig.

Wanneer en hoe je controle uitoefent, hangt af van het soort algoritme en risico, de levenscyclusfase van je project en je expertise.

Bepaal in elk geval zo vroeg mogelijk wie in welke levenscyclusfase verantwoordelijk is voor menselijke controle. En beschrijf dit in een RACI-matrix of VERI-matrix. Want menselijke controle is nodig in verschillende fases, door verschillende mensen. Er is nooit 1 persoon verantwoordelijk voor de totale controle.

Tijdens het gebruik kun je menselijke controle op de volgende manieren uitoefenen:

  • Human in the loop: Een mens moet de acties starten van het algoritme. Het werkt niet uit zichzelf.
  • Human on the loop: Mensen kunnen acties stoppen van het algoritme.
  • Human above the loop: Mensen houden overzicht en kunnen ingrijpen bij strategische en ethische beslissingen.
  • Human before the loop: Het algoritme interpreteert morele modellen die mensen vooraf bedenken. Deze oplossing is bedoeld voor volledig autonome algoritmes. Dit zijn algoritmes die zelf beslissingen moeten nemen, bijvoorbeeld door tijdsdruk.

Feedback

Na het bepalen van de manier van controleren, bepaal je de manier waarop je feedback krijgt over het algoritme: Wat voor soort informatie moet bij wie terechtkomen? Aan wie moet een gebruiker bijvoorbeeld rapporteren dat het AI-systeem niet meer goed werkt?

Vereisten

Aanbevolen maatregelen

Hulpmiddelen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.