Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen.
mon-08OntwikkelenVerificatie en validatieMonitoring en beheerOntwikkelaarTechnische robuustheid en veiligheid
Maatregel
Controleer regelmatig of je algoritme bestand is tegen aanvallen.
Toelichting
Veel algoritmes veranderen in de loop van tijd. Daarom is het belangrijk om periodiek te blijven testen of de ingebouwde defensiemechanismen goed werken. In traditionele cyber security wordt hiervoor de term red teaming of pentesting gebruikt.
Pentesting
Met pentesting wordt in feite een interactie tussen een aanvaller en het algoritme nagebootst.
Verschillende bedrijven die gespecialiseerd zijn in traditionele pentesting van IT systemen bieden nu ook specifiek pentesting van AI aan.
Indien er voldoende kennis aanwezig is, is het mogelijk dit zelf te implementeren.
Dit kan bijvoorbeeld met behulp van de open-source ontwikkelde Adversarial Robustness Toolbox (ART) ontwikkeld door IBM (en nu in beheer door de Linux Foundation).
Top-10 security risico’s van LLM’s
Het is lastig in te schatten met wat voor aanvallen er rekening gehouden moet worden voor een AI-systeem. Hiervoor heeft OWASP een top 10 opgesteld van security risico’s van LLM’s. Veel risico's zijn waarschijnlijk ook van toepassing op andere soorten AI-systemen.
Bijbehorende vereiste(n)
Risico
Als niet periodiek getest wordt of een algoritme nog bestand is tegen aanvallen, wordt de kans groter dat een aanvaller succesvol is.