Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd

owp-06ProbleemanalyseOntwerpProjectleiderOntwikkelaarTechnische robuustheid en veiligheidFundamentele rechten

Maatregel

Leg vast wie er wordt geraakt, welke processen beïnvloed worden door het algoritme en wat de impact is wanneer het systeem niet werkt zoals beoogd. Neem deze informatie proactief mee in het ontwerp en de ontwikkeling van je algoritme.

Toelichting

Er moet een analyse gemaakt worden van de impact van een algoritme dat niet werkt zoals bedoeld. Een algoritme dat niet werkt zoals bedoeld kan bijvoorbeeld betekenen dat het algoritme een foutieve beslissing maakt of dat het algoritme is uitgevallen. De analyse op wie dit een impact heeft en hoe groot die impact is, is van belang voor de ontwerpkeuzes, de risicoanalyse en de evaluatie. Wanneer een foutieve beslissing zwaarwegende gevolgen heeft, moet er in het ontwerp gezorgd worden dat de kans op deze fout verminderd wordt. In de evaluatie moet er worden bepaald of de resterende risico’s acceptabel zijn. Voer de impactanalyse uit met een multidisciplinaire groep en documenteer afwegingen en keuzes hierbij. Neem in de impactanalyse de volgende stappen:

Wanneer een algoritme niet werkt als beoogd, kan dit inbreuk maken op grondrechten van eventuele betrokken burgers. Onderdeel van deze impactanalyse is om te bepalen of je algoritme bepaalde grondrechten kan raken, aantasten of mogelijk schenden.

Leg vast welke stakeholders worden geraakt Denk hierbij aan de directe gebruiker, degene waarover het besluit wordt genomen en derde partijen die input leveren of de resultaten ontvangen. Houd hierbij rekening met kwetsbare groepen waarbij het nodig is om deze groep extra bescherming te bieden.
Leg vast welke processen worden geraakt Denk hierbij aan werkproces(sen) waarin het algoritme wordt gebruikt, maar ook aan vervolgprocessen of parallelle processen die beïnvloed worden door de resultaten van het algoritme.
Leg vast wat de impact is van een niet goed werkend algoritme (per stakeholder en proces) Bepaal per stakeholder en per proces wat het gevolg is van een niet goed werkend systeem. Indien het systeem uitvalt, hoe worden de partijen daardoor geraakt en wat is het gevolg. Zijn er processen die mogelijk stilvallen of moeten worden aangepast?

Analyseer ook de gevolgen van foutieve beslissingen. Let op dat verschillende typen fouten een verschillende impact hebben. Bijvoorbeeld in het geval van een ziektedetectie algoritme als voorsortering of een patiënt een uitgebreidere test moet ondergaan is de impact groter als de patiënt ten onrechte als geen-risico wordt geclassificeerd dan als iemand ten onrechte een extra controle moet ondergaan.
Bepaal welke factoren van invloed zijn op de kans dat het fout gaat Het risico is afhankelijk van de kans dat een fout voorkomt. Voor risicoanalyse en mitigatie is het van belang om de factoren die van invloed zijn op de fouten in kaart te brengen. Deze geven input aan de ontwerpfase en mitigerende maatregelen. Denk hierbij aan factoren in de data, het soort algoritme, het gebruik en externe factoren.

Bijbehorende vereiste(n)

Vereiste
grw-01 - Algoritmes schenden geen grondrechten of mensenrechten.
avg-11 - Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen.

Risico

Als er geen goede impactanalyse wordt gemaakt, kunnen risico’s over het hoofd worden gezien. Een niet werkend systeem kan dan een grote impact hebben op mensen of de organisatie.

Bronnen

Voorbeeld

Heb jij een goed voorbeeld? Laat het ons weten!