Zorg voor een representatieve testomgeving
ver-04Verificatie en validatieOntwikkelaarProjectleiderTechnische robuustheid en veiligheid
Maatregel
Test het algoritme in verschillende scenario’s en omstandigheden die zoveel mogelijk overeenkomen met de operationele context.
Toelichting
Representatieve testomstandigheden zijn essentieel om een goed onderbouwd vertrouwen te krijgen in de prestaties en de toegevoegde waarde van het algoritme. Houd daarbij bijvoorbeeld rekening met voldoende variatie en ruis die voorkomt tijdens het operationeel gebruik of de verschillende type gebruikers die interacteren met het algoritme. Neem bij het inrichten van een testomgeving de volgende aspecten mee:
- de factoren uit de impactanalyse.
- zorg voor testomgeving waarin je betrouwbaarheid, nauwkeurigheid en reproduceerbaarheid kan evalueren.
- analyseer de verschillen tussen de dataset en operationeel gebruik.
- wanneer een gebruikerstest wordt gedaan, zorg voor een representatieve groep gebruikers. Denk bijvoorbeeld aan verschillend enthousiasme en verschillend niveau van digitale/AI-vaardigheden.
- neem verschillende typen (cyber)aanvallen mee
- valideer dat de testomgeving de risicoanalyse en het beslissingsproces ondersteunt.
Voorbeelden om bij te dragen aan een representatieve testomgeving:
- Voeg extra ruis toe aan de testdata
- Test op gevallen die niet passen in de verdeling van variabelen waarop een classificatiemodel is getraind (de out-of-distribution scenario’s).
- Test op uitzonderlijke gevallen (outliers) en minderheidsgroepen
- Stel specifieke testscenario’s op. Dit kan bijvoorbeeld met de ‘What if tool’ van Google, om specifieke data scenario’s voor een machinelearning model te onderzoeken.
Bijbehorende vereiste(n)
Risico
Als het algoritme niet getest wordt, of getest wordt in niet-representatieve omstandigheden, kan er een onterecht vertrouwen in het algoritme ontstaan. De evaluatie geeft dan goede resultaten, maar het model zal minder presteren in de operationele context waar meer variatie aanwezig is.