Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen
mon-08OntwikkelenVerificatie en validatieMonitoring en beheerOntwikkelaarTechnische robuustheid en veiligheid
Maatregel
Controleer regelmatig of je algoritme bestand is tegen aanvallen.
Toelichting
Veel algoritmes veranderen in de loop van tijd. Daarom is het belangrijk om periodiek te blijven testen of de ingebouwde defensiemechanismen goed werken. In traditionele cyber security wordt hiervoor de term red teaming of pentesting gebruikt.
Pentesting
Met pentesting wordt in feite een interactie tussen een aanvaller en het algoritme nagebootst.
Verschillende bedrijven die gespecialiseerd zijn in traditionele pentesting van IT systemen bieden nu ook specifiek pentesting van AI aan.
Indien er voldoende kennis aanwezig is, is het mogelijk dit zelf te implementeren.
Dit kan bijvoorbeeld met behulp van de open-source ontwikkelde Adversarial Robustness Toolbox (ART) ontwikkeld door IBM (en nu in beheer door de Linux Foundation).
Top-10 security risico’s van LLM’s
Het is lastig in te schatten met wat voor aanvallen er rekening gehouden moet worden voor een AI-systeem. Hiervoor heeft OWASP een top 10 opgesteld van security risico’s van LLM’s. Veel risico's zijn waarschijnlijk ook van toepassing op andere soorten AI-systemen.
Risico
Als niet periodiek getest wordt of een algoritme nog bestand is tegen aanvallen, wordt de kans groter dat een aanvaller succesvol is.
Bijbehorende vereiste(n)
Bronnen
- Nightfall, AI Model Red Teaming
- IBM, Adversarial Robustness Toolbox
- OWASP Top 10 for Large Language Model Applications
Voorbeelden
Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl