Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
mon-05Monitoring en beheerOntwikkelaarDataTechnische robuustheid en veiligheid
Maatregel
Monitor regelmatig op veranderingen in de inputdata. Bij geconstateerde veranderingen evalueer je de prestaties en de output van het algoritme.
Toelichting
De inputdata kan voortdurend veranderen. Dat kan komen doordat de context waarin het algoritme wordt gebruikt verandert, of door een technische fout wanneer de data bijvoorbeeld niet goed is ingelezen of aangeleverd. Het te laat opmerken van zo'n verandering kan grote gevolgen hebben. Daarom is het belangrijk om regelmatig te controleren en evalueren of:
- De data van voldoende kwaliteit is voor de beoogde toepassing.
- Het algoritme nog presteert in lijn met de vastgestelde doelen.
- De gegevens op de juiste en volledige manier worden verwerkt.
Zeker wanneer er gebruikt wordt gemaakt van informatie van derden is het belangrijk om regelmatig te controleren of er veranderingen in de data zijn. Goede monitoring op datakwaliteit zorgt ervoor dat je voldoende controle hebt over de kwaliteit van de data, zelfs als je hiervoor afhankelijk bent van andere partijen.
Risico
Door veranderingen in de data presteert het model niet meer zoals verwacht.
Bijbehorende vereiste(n)
Bronnen
- Onderzoekskader Auditdienst Rijk, DM.8
- Toetsingskader Algoritmes Algemene Rekenkamer, 1.02, 1.08, 2.06, 2.08, 2.13
- Norm: "Information technology - Artificial intelligence - Data life cycle framework"
Voorbeelden
Gemeente Den Haag: Quality-Bot
De gemeente Den Haag maakt gebruik van een datakwaliteit algoritme: Quality-Bot (Q-Bot). Dit algoritme controleert bestaande en nieuwe patronen in de data om zo de bronhouder nieuwe inzichten te kunnen geven in de data. Op deze manier kan datakwaliteit ingeschat worden en kunnen fouten worden ontdekt. Dit algoritme monitort dus geen directe veranderingen autonoom maar communiceert deze naar de werknemer. Op deze manier kan gecontroleerd worden of wat voor data veranderingen er optreden. Het evalueren van (vervolg) prestaties is niet mogelijk omdat dit algoritme niet direct is aangesloten op een vervolg algoritme maar gezien kan worden als een voor-traject.
Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl