Maak een noodplan voor het stoppen van het algoritme
owk-02OntwikkelenImplementatieProjectleiderOntwikkelaarGovernanceMenselijke controleTechnische robuustheid en veiligheid
Maatregel
Stel een duidelijk proces op voor situaties waarin het algoritme niet meer werkt zoals beoogd. Dit moet bevatten welke personen welke acties moeten doen en hoe er gewerkt wordt zonder het algoritme.
Toelichting
Er moet gezorgd worden dat er een alternatief plan is voor als het algoritme niet meer werkt zoals beoogd. Dit kan betekenen dat het hele systeem (tijdelijk) wordt stopgezet, dat delen van het systeem (tijdelijk) worden uitgeschakeld of dat er een alternatief systeem gebruikt wordt.
Dit proces bevat in ieder geval de volgende stappen:
Leg vast wanneer het algoritme niet meer werkt zoals beoogd
- Leg vast wat de [beoogde werking van het algoritme] is(1-pba-02-formuleren-doelstelling.md).
- Bepaal of de geïmplementeerde werking overeenkomt met de vastgelegde beoogde werking en wanneer het algoritme gestopt moet worden. Dit gebeurt tijdens een evaluatie of door de continue monitoring.
Zorg dat beslissingen kunnen worden herzien
- Leg vast hoe het mogelijk is na te gaan op welk moment het algoritme stopte met werken zoals beoogd. Wanneer de melding vanuit continue monitoring komt is het vaak duidelijk wanneer deze waarde wordt overschreden. Bij vaste evaluatiemomenten moet dit worden herleid. Zorg dat door middel van het loggen van de juiste informatie het mogelijk is te herleiden wanneer het algoritme stopte met werken zoals beoogd.
- Zorg dat beslissingen die zijn genomen vanaf het moment dat het algoritme stopte met werken zoals beoogd kunnen worden herzien. Indien het algoritme niet direct is gestopt zodra het niet meer werkte zoals beoogd, moet er opnieuw gekeken worden naar de beslissingen die daarna zijn genomen. Leg vast op welke manier deze beslissingen herzien worden.
Leg vast wat de vervolgacties zijn
- Leg in een proces vast hoe het gebruik van het algoritme moet worden stopgezet.
- Leg vast hoe er gewerkt worden zonder het algoritme en wat de impact daarvan is op het werkproces.
- Leg vast wie er binnen en buiten de organisatie geïnformeerd moeten worden.
- Het is van belang dat bij het ontwerp van algoritmes er rekening wordt gehouden met dat het werkproces ook zonder het algoritme kan worden uitgevoerd.
- In het geval van risicoselectie kan er bijvoorbeeld worden teruggevallen op het enkel uitvoeren van een aselecte steekproef als selectieinstrument.
- Als blijkt dat het algoritme ongewenst functioneert, dan moeten (technische) maatregelen zijn getroffen waarmee het gebruik daadwerkelijk kan worden stopgezet. Denk hierbij aan een stopknop en werkinstructies hoe het gebruik kan worden beëindigd.
- Maak aantoonbaar dat deze maatregelen zijn getroffen.
- De proceseigenaar of een menselijk toezichthouder moet in staat zijn om het algoritme op elk moment te kunnen beëindigen.
- Het stopzetten van het gebruik van een algoritme mag niet tot gevolg hebben dat betrokkenen niet meer kunnen achterhalen hoe besluiten tot stand zijn gekomen of dat gevolgen niet meer kunnen worden gecorrigeerd als dat noodzakelijk is.
Indien er sprake is van discriminerende effecten van een algoritme, kan je gebruik maken van het discriminatieprotocol.
Risico
Als er geen duidelijke acties zijn gedefinieerd, kan dat bijvoorbeeld leiden tot de volgende risico’s: het werkproces komt stil te liggen door een niet-werkend algoritme; er worden verkeerde beslissingen genomen doordat het algoritme nog wordt gebruikt terwijl het niet goed meer werkt, kwaadwillenden hebben langer toegang tot het algoritme en/of organisatiedata.
Bijbehorende vereiste(n)
Bronnen
- Onderzoekskader Algoritmes Auditdienst Rijk, SV.18, SV.17
- Toetsingskader Algoritmes Algemene Rekenkamer, 1.03
- Impact Assessment Mensenrechten en Algoritmes, 1.5
Voorbeeld
Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl