Ga naar inhoud

Bepaal welke feedbackloops van invloed zijn op het algoritme

owk-08OntwerpOntwikkelenProjectleiderOntwikkelaarTechnische robuustheid en veiligheidBias en non discriminatie

Maatregel

Stel vast op welke manier de uitkomst of de inzet van het algoritme van invloed kan zijn op het proces en de werking in een latere fase. Probeer deze ‘feedbackloops’ in kaart te brengen zodat ze mogelijk voorkomen kunnen worden of gemonitord kunnen worden op mogelijke negatieve effecten.

Toelichting

Een feedbackloop kan zich voordoen wanneer de uitkomst van een algoritme wordt gebruikt als nieuwe input voor het algoritme. Deze feedbackloops kunnen een vertekend beeld van de werkelijkheid geven en de robuustheid van het algoritme over tijd in gevaar brengen. Dit is met name van belang wanneer algoritmes bijleren (continue of periodiek).

Opmerking

Merk op dat feedbackloops ook een positief effect kunnen hebben, wanneer bijvoorbeeld gebruikerservaring wordt meegenomen in de doorontwikkeling van het algoritme.

Er zijn verschillende vormen van feedbackloops:

  • sampling feedbackloop: Wanneer de beslissing die volgt uit het algoritme effect heeft op de kans dat bepaalde groepen in een volgende selectie terechtkomen.

  • individual feedbackloop: Wanneer de mening of visie van een beoordelaar verandert door het gebruiken van het algoritme(het overnemen van de ‘vooroordelen van een systeem’).

  • feature feedbackloop: Bijvoorbeeld wanneer de uitkomst dat een subsidie niet verstrekt wordt, ook als kenmerk ‘eerdere weigering van subsidie’ wordt gebruikt door het algoritme.

  • outcome feedbackloop: Wanneer burgers of bedrijven op basis van de uitkomst ander gedrag gaan vertonen. In het voorbeeld van de subsidie betekent dit bijvoorbeeld dat burgers hun uitgavepatroon veranderen.

  • machinelearning model feedbackloop: Wanneer nieuwe data die beschikbaar komt, is beïnvloed door de beslissing van het algoritme zelf en deze data wordt gebruikt om een machinelearning model mee te (her)trainen. Een ander voorbeeld is wanneer alleen data wordt gebruikt van de personen die daadwerkelijk subsidie ontvangen om het algoritme op te (her)trainen. De groep die geen subsidie ontvangt ontbreekt dan in de dataset.

Adversarial feedbackloops

Soms kunnen feedbackloops opzettelijk ingezet worden als ‘aanval’ op het systeem. Dit hoeft niet per se vijandig te zijn, maar het kan gaan om het opzettelijk reageren op of aanpassen van de beslissingen die uit een algoritme volgen. Bijvoorbeeld wanneer mensen liegen bij het invullen van een vragenlijst van de GGD wanneer ze een soa-test willen doen, omdat ze weten dat ze dan gekwalificeerd worden voor een gratis test 1. Wanneer de belanghebbende het gedrag aanpast zonder dat zijn of haar kenmerken daadwerkelijk veranderen, omdat het heeft geleerd hoe het algoritme oordeelt, is dat voorbeeld van een adversarial feature feedbackloop. Deze feedbackloops wil je het liefste voorzien en mitigeren.

Monitoring en ophalen informatie

Feedbackloops kunnen ook een positieve werking hebben op het algoritme. Het is verstandig om feedback op te halen om in te zien wat de reactie is van mensen op (beslissingen van) een algoritme. Dit kan bijvoorbeeld door gebruikers of belanghebbende burgers vragenlijsten te laten invullen met vragen over hun gedrag en de ontwikkelingen hierin te monitoren. Daarnaast kan het ophalen van ervaringen met het algoritme worden gebruikt voor doorontwikkeling en verbetering van het algoritme waarbij de gewenste en ongewenste effecten meegenomen worden.

Ten slotte verdient bias specifieke aandacht. Houd goed in de gaten hoe het algoritme gebruikmaakt van de kenmerken van gevoelige groepen en wat de effecten van de uitkomst zijn op hun gedrag en de datadistributie.

Bijbehorende vereiste(n)

Geen vereisten beschikbaar voor deze maatregel.

Risico

Feedbackloops kunnen invloed hebben op verschillende onderdelen van het systeem waarin een algoritme zit. Als dit onopgemerkt gebeurt kan dit een negatief effect hebben op de accuraatheid en betrouwbaarheid van het algoritme, of ongewenste bias ontwikkelen.

Bronnen

Voorbeeld

Heb jij een goed voorbeeld? Laat het ons weten!

  1. Zie https://nos.nl/op3/artikel/2143511-soa-sjoemelaars-liegen-voor-gratis-test ↩