Controleer de data op manipulatie en ongewenste afhankelijkheden
dat-10Dataverkenning en datapreparatieMonitoring en beheerOntwikkelaarBeleid en adviesDataTechnische robuustheid en veiligheid
Maatregel
De dataset die gebruikt wordt om een model te (her)trainen moet periodiek gecontroleerd worden op manipulatie (data poisoning). Voorkom ongewenste afhankelijkheden.
Toelichting
Manipulatie van data wordt een “data poisoning” aanval genoemd 1 2 3. Een kwaadwillende kan op verschillende manieren te werk gaan:
- Bewust verkeerde informatie aan de dataset toevoegen. Dit is bijvoorbeeld mogelijk door als aanvaller zelf een foutieve dataset beschikbaar te stellen. Controleer daarom goed of een afgenomen dataset de kenmerken heeft die je verwacht. Daarnaast kun je ook nog verifiëren of bijvoorbeeld het proces waarmee de dataset vergaard is op de juiste manier is uitgevoerd. Tot slot is het verstandig om te voorkomen dat de dataset afhankelijk is van een enkele bron.
- Een aanvaller kan een bestaande dataset aanpassen, door bijvoorbeeld labels om te draaien. In dit geval moet een aanvaller toegang krijgen tot de locatie van de dataset. Bescherming hiertegen begint met algemene beveiligingsmaatregelen, bijvoorbeeld zoals beschreven in de BIO. Daarnaast moet er ook gekeken worden naar het voorkomen van een insider aanval. Dit kan door selectief te zijn in het verlenen van toegang tot de locatie van de data en bijvoorbeeld het toepassen van een vier-ogen principe.
- In lijn met het aanpassen van de dataset kan een aanvaller ook een deel van de dataset verwijderen. Dit is naar verwachting makkelijker te realiseren dan het selectief aanpassen van de data. Door bijvoorbeeld alle data over een bepaalde groep personen uit de dataset te verwijderen functioneert het model minder goed voor die groep. Controleer daarom of de dataset waarmee uiteindelijk getraind wordt precies hetzelfde is als de origineel bedoelde data. Dit kan bijvoorbeeld door middel van een handtekening die geverifieerd moet worden.
Op deze manieren kan een aanvaller een model slecht laten functioneren, of alleen fouten laten maken op specifiek gekozen invoerwaarden. Een aanvaller kan de trainingsdata zo beïnvloeden dat nummerborden met een stip altijd foutief gelezen worden, waardoor criminelen kentekencontroles kunnen ontwijken. In dit geval wordt ook wel gesproken over een “backdoor” aanval.
Adversarial training
Daarnaast kan het principe van adversarial training worden toegepast door zelf bewust foutieve invoerwaarden aan de trainingsdata toe te voegen. Door een algoritme hierop te laten trainen kan deze beter bestand gemaakt worden tegen aanvallen tijdens het gebruik.
Risico
Een aanvaller kan proberen om de trainingset te manipuleren om het uiteindelijke model doelbewust fouten te laten maken. Dit kan leiden tot verkeerde antwoorden, vooroordelen of zelfs kwetsbaarheden in het model.
Bijbehorende vereiste(n)
Bronnen
- Crowdstrike, Data Poisoning: The Exploitation of Generative AI
- TNO, Ministerie van Justitie en Veiligheid, Verkenning van het raakvlak van cybersecurity en AI
- AIVD, AI-systemen: ontwikkel ze veilig
- Kurakin, et al., Adversarial Machine Learning at Scale
Voorbeelden
Heb je een ander voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl