Technische robuustheid en veiligheid
Wanneer algoritmes of AI-systemen worden gebruikt om publieke taken uit te voeren, dient het onderliggende systeem voldoende robuust en veilig te zijn.
Technische robuustheid¶
De technische robuustheid van een algoritme of AI-systeem beschrijft het vermogen om het gewenste prestatieniveau onder alle omstandigheden te handhaven 1. Dit betekent dat algoritmes en AI-systemen vergelijkbaar moeten presteren ondanks externe of zware veranderingen in de omgeving. Robuustheid kan daarnaast ook duiden op eigenschappen als veerkracht, betrouwbaarheid en nauwkeurigheid van het systeem.
Wanneer het algoritme of het AI-systeem niet voldoet aan de eisen wat betreft robuustheid, nauwkeurigheid of de prestaties van het systeem, voordat het systeem in gebruik is genomen kan het systeem onbedoelde schade aanrichten voor betrokkenen, bijvoorbeeld door negatieve impact op grondrechten wanneer resultaten onjuist of niet worden gegenereerd of geïnterpreteerd.
Er moeten technische en organisatorische maatregelen getroffen worden om de robuustheid van algoritmes en AI-systemen te waarborgen. Dit kunnen bijvoorbeeld maatregelen zijn bestaande uit vooraf bepaalde mechanismen die het systeem in staat stellen om de werking veilig te onderbreken wanneer daar redenen voor zijn of wanneer de prestaties van het algoritme buiten vooraf bepaalde grenzen treedt.
Veiligheid¶
Naast robuustheid dient het onderliggende systeem ook voldoende beveiligd te zijn, zodat het systeem weerbaar is tegen pogingen het systeem te wijzigen en onrechtmatig gebruik door derden, en die onbedoelde schade tot een minimum beperkt. Om te zorgen voor een passend niveau van cyberbeveiliging die aansluit op de risico's van het systeem, dienen er passende maatregelen zoals veiligheidscontroles genomen te worden. Daarbij dient er rekening te worden gehouden met de onderliggende ICT-infrastructuur.
In dit bouwblok van het algoritmekader werken we uit aan welke vereisten er voldaan moet worden om de technische robuustheid en veiligheid te waarborgen. Dit wordt aangevuld met praktische maatregelen en instrumenten die gebruikt en toegepast kunnen worden om invulling te geven aan deze vereisten.
Opmerking
Dit bouwblok moet nog ontwikkeld worden. Deze pagina is dus nog niet volledig. Op deze pagina vind je mogelijk wel al onderdelen waar we aandacht aan willen besteden in dit bouwblok.
Vereisten¶
| Vereiste | Uitleg |
|---|---|
| Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico zorgen voor passend niveau van cyberbeveiliging | Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico zorgen voor een passend niveau van cyberbeveiligingsbescherming voor het AI-model voor algemene doeleinden met een systeemrisico en de fysieke infrastructuur van het model |
| De archiefwet is ook van toepassing op algoritmes en AI-systemen | Volgens de Archiefwet moeten overheden informatie bewaren. Op basis van deze informatie moet gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmes en AI, tot stand zijn gekomen. Informatie over algoritmes en AI moet daarom bewaard en vernietigd worden. |
| Automatische logregistratie voor hoog-risico AI | AI-systemen met een hoog risico zijn dusdanig technisch vormgegeven dat gebeurtenissen gedurende hun levenscyclus automatisch worden geregistreerd (“logs”). |
| Beveiliging informatie en informatiesystemen | Informatiebeveiliging is het proces van vaststellen van de vereiste beveiliging van informatiesystemen in termen van vertrouwelijkheid, beschikbaarheid en integriteit alsmede het treffen, onderhouden en controleren van een samenhangend pakket van bijbehorende maatregelen. In Nederland is besloten dat overheidsinstellingen de Baseline Informatiebeveiliging Overheid dienen toe te passen over hun informatie en informatiesystemen. De BIO beoogt de beveiliging van informatie(systemen) bij alle bestuurslagen en bestuursorganen van de overheid te bevorderen, zodat alle onderdelen erop kunnen vertrouwen dat onderling uitgewisselde gegevens, in lijn met wet- en regelgeving, passend beveiligd zijn. Algoritmes en AI-systemen en hun output kunnen onderdeel worden van de informatie en informatiesystemen waar de BIO op van toepassing is. Het is van belang om algoritmische toepassingen en AI-systemen op de juiste manier te beveiligen. |
| Hoog risico ai systemen voldoen aan bewaartermijn voor documentatie | De aanbieder moet gedurende tien jaar na het op de markt brengen of in gebruik nemen van het AI-systeem met een hoog risico de vereiste documentatie beschikbaar houden voor de nationale autoriteiten. Dit houdt in dat technische documentatie, documentatie over het kwaliteitsbeheersysteem, eventuele documentatie over besluiten en goedgekeurde wijzigingen door aangemelde instanties en de EU-conformiteitsverklaring beschikbaar moet zijn. Dit waarborgt dat de autoriteiten toegang hebben tot relevante informatie voor controle en naleving van de voorschriften gedurende deze periode. |
| Bewaartermijn voor gegenereerde logs | Aanbieders van AI-systemen met een hoog risico bewaren de in artikel 12, lid 1, bedoelde logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. Onverminderd het toepasselijke Unie- of nationale recht worden deze logs bewaard gedurende een periode, die passend is voor het beoogde doel van het AI-systeem met een hoog risico, van ten minste zes maanden, tenzij anders is bepaald in het Unie- of nationaal recht, met name de Uniewetgeving inzake de bescherming van persoonsgegevens. |
| Gebruiksverantwoordelijken bewaren logs van een hoog risico AI-systeem die automatisch worden gegenereerd | Gebruiksverantwoordelijken van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door dat AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico, of ten minste zes maanden, tenzij anders is bepaald in het toepasselijke Unie- of nationaal recht, meer in het bijzonder het Unierecht over de bescherming van persoonsgegevens |
| Ontwerp voor nauwkeurigheid, robuustheid en cyberbeveiliging | AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten. |
| Technische documentatie voor hoog-risico AI | De technische documentatie van een AI-systeem met een hoog risico wordt voorafgaand aan het in de handel brengen of in gebruik nemen opgesteld en regelmatig bijgewerkt. Deze documentatie moet duidelijk aantonen dat het systeem voldoet aan de vereisten van de verordening, zodat nationale autoriteiten en aangemelde instanties de naleving kunnen beoordelen. De documentatie bevat ten minste de elementen zoals uiteengezet in bijlage IV. 1. Een algemene beschrijving van het AI-syseem. 2. Een gedetailleerde beschrijving van de elementen van het AI systeem en het proces voor de ontwikkeling ervan. 3. Gedetailleerde informatie over de monitoring, werking en controle van het AI-systeem. 4. Een beschrijving van de geschiktheid van de prestatiestatistieken. 5. Een gedetailleerde beschrijving van het systeem voor risicobeheer overeenkomstig artikel 9 van de AI verordening. 6. Een beschrijving van de wijzigingen die tijdens de levensduur worden aangebracht. 7. Een lijst van normen die worden toegepast. 8. Een exemplaar van de EU-conformiteitsverklaring. 9. Een gedetailleerde beschrijving voor evaluatie van prestaties nadat het systeem in handel is gebracht, in overeenstemming met artikel 72 van de AI verordening. |
Maatregelen¶
| Maatregel | Uitleg |
|---|---|
| Bewaartermijnen zijn toegepast | Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct zijn of worden vertaald naar het algoritme of AI-systeem en de onderliggende systemen. Controleer of deze maatregelen zijn getroffen en zorg dat dit aantoonbaar is. |
| Stel een autorisatiematrix op | Uitsluitend bevoegde personen mogen de data verwerken en mogen werken aan de ontwikkeling van de algoritmes en AI-systemen. Maak hierover afspraken met de aanbieder. |
| Pas maatregelen toe om (persoons)gegevens te beschermen | Pas maatregelen toe als dataminimalisatie, pseudonimisering, anonimisering of aggregeren van persoonsgegevens bij het verwerken van de (trainings)data. |