Evalueer de nauwkeurigheid van het algoritme
ver-02OntwikkelenVerificatie en validatieMonitoring en beheerOntwikkelaarProjectleiderTechnische robuustheid en veiligheidBias en non discriminatie
Maatregel
Test en evalueer de nauwkeurigheid van het algoritme om te zorgen dat deze accurate uitkomsten geeft.
Toelichting
De nauwkeurigheid van het algoritme wil zeggen: geeft het algoritme de juiste uitkomst voor het gewenste doel; maakt het correcte berekeningen, voorspellingen, aanbevelingen, beslissingen of classificeringen.
Voor het evalueren van de nauwkeurigheid zijn de volgende stappen essentieel:
- Bepaal met welke methoden en metriek(en) je de nauwkeurigheid wilt gaan meten. Pas dit aan op de ontwerpkeuzes, het beoogde doel en de bepaalde risico’s.
- Controleer of de data volledig en actueel is om de metrieken te kunnen meten.
-
Bepaal welke foutmarge acceptabel is:
- Bepaal hoe vaak het algoritme een bepaalde fout maken. Houd rekening met verschillende fouten die gemaakt kunnen worden, zoals false positives en false negatives. Welke fouten zijn erger om te maken?
- De foutmarge is afhankelijk van welke schade wordt veroorzaakt bij onnauwkeurige of foutieve voorspellingen.
- Heb hierbij aandacht voor de afweging tussen nauwkeurigheid en betrouwbaarheid. Een model met hoge nauwkeurigheid op de testset kan vaak slechter generaliseren naar situaties net buiten de test set (overfitting).
-
Bepaal interventies voor als het restrisico hoger is dan acceptabel.
-
Wanneer de nauwkeurigheid niet voldoende is tijdens de ontwikkelfase kan er besloten worden door te ontwikkelen, andere maatregelen te treffen (bijvoorbeeld in menselijke interventies) om het restrisico acceptabel te maken of door te stoppen met de ontwikkeling van het systeem.
- Wanneer monitoring aangeeft dat de nauwkeurigheid onvoldoende is, moet er een passende afweging worden gemaakt om het systeem te verbeteren, dan wel over te gaan op het stoppen van het systeem.
Metrieken
Afhankelijk van het type algoritme zijn er verschillende metrieken waarmee je de nauwkeurigheid kan meten. Veelgebruikte metrieken zijn:
- accuraatheid (accuracy)
- precisie (precision)
- recall
- F1-score
- mean-squared-error
- mean-absolute-error
In verschillende omgevingen en onder verschillende datasets moeten de relevante metrieken voor jouw toepassing worden geëvalueerd.
Bijbehorende vereiste(n)
Risico
Een onnauwkeurig algoritme geeft de verkeerde uitkomsten waardoor situaties of mogelijk personen verkeerd beoordeeld kunnen worden.
Bronnen
Voorbeeld
Heb jij een goed voorbeeld? Laat het ons weten!