Ga naar inhoud

Fase 4: Ontwikkelen

Dit is de fase waarin het algoritme wordt ontwikkeld door het ontwikkelteam. Als het gaat om AI-systemen, omvat deze fase het trainen van modellen met behulp van de voorbereide gegevens. Als het gaat om algoritmes op basis van rekenregels, betreft dit het implementeren van deze rekenregels in de (ontwikkelomgeving van de) systemen.

Het algoritme technisch correct ontwikkelen, inclusief het kunnen begrijpen van de beperkingen ervan, vraagt om een samenspel van expertise vanuit verschillende disciplines. Denk hierbij aan de proceseigenaar, domeinexperts van het te ondersteunen werkproces, data scientists, data engineer, (privacy)juristen, beleidsmedewerkers en een ethicus. Een voorbeeld hiervan is het beoordelen van de zogenaamde inputvariabelen of rekenregels (die voor een groot deel bepalen hoe een algoritme functioneert) van een machine learning model of algoritme. Deze rollen zijn bijzonder waardevol bij het beoordelen of deze variabelen of rekenregels juridisch zijn toegestaan, ethisch wenselijk zijn, technisch gezien- voldoende significant zijn en of deze van toegevoegde waarde zijn voor gebruikers. Dit multidisciplinaire team kan tijdens de ontwikkeling continu bijsturen, zodat het algoritme op een verantwoorde wijze functioneert en aansluit bij de beoogde doelstellingen.

In deze fase is niet alleen het ontwikkelen van een algoritme, maar ook het documenteren van belangrijke afwegingen en het opstellen van technische documentatie van groot belang. Daarnaast zullen tal van (technische) maatregelen moeten worden getroffen zoals de verdere beveiliging van het informatiesysteem of bij de ontsluiting van de output naar gebruikers, het automatische genereren van logs en het inrichten van service en incidentmanagementprocedures.

Vereisten

VereistenWetgeving
Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatieAI-verordening
Hoog-risico-AI-systemen loggen automatisch bepaalde gegevensAI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpenAI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezichtAI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveiligAI-verordening
Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijkeAI-verordening
AI-systemen worden zo ontworpen en gebruikt, dat mensen begrijpen wanneer zij met een AI-systeem communiceren en welke content gemaakt is door een AI-systeemAI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatieAI-verordening
AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallenAI-verordening
AI-testomgevingen die persoonsgegevens verwerken, voldoen aan strenge voorwaardenAI-verordening
Hoog-risico-AI-systemen zijn getestAI-verordening
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleindenAI-verordening
Informatie over algoritmes wordt in goede, geordende en toegankelijke staat gebracht, bewaard en vernietigd wanneer nodigArchiefwet
Persoonsgegevens worden zo min mogelijk verwerktAVG
Betrokkenen kunnen een beroep doen op hun privacyrechtenAVG
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldigAWB
Algoritmes discrimineren nietGrondwet

Aanbevolen maatregelen

Maatregelen
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.
Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
Ontwerp algoritmes zo eenvoudig mogelijk
Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben
Identificeer en implementeer technische interventies die robuustheid vergroten
Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren
Gebruik duurzame datacenters
Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houd rekening met underfitting en overfitting
Beperk de omvang van datasets voor energie-efficiëntie
Ontwerp en ontwikkel het algoritme volgens de principes van ‘security by design’
Maak een noodplan voor het stoppen van het algoritme
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
Kies energiezuinige programmeermethoden
Optimaliseer AI-trainingsprocessen voor energie-efficiëntie
Zorg voor reproduceerbaarheid van de uitkomsten
Bepaal welke feedbackloops van invloed zijn op het algoritme
Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen
Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme
Documenteer en beargumenteer de keuze voor gebruikte modellen en parameters
Gebruik een passende licentie bij publicatie of gebruik van (open) data
Controleer regelmatig of het algoritme werkt zoals het bedoeld is
Evalueer de nauwkeurigheid van het algoritme
Evalueer de betrouwbaarheid van het algoritme
Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen
Spreek af hoe de organisatie omgaat met privacy-verzoeken
Maak back-ups van algoritmes
Beveilig de software
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.