Fase 2: Ontwerp

In de ontwerpfase wordt het conceptuele ontwerp van het algoritme uitgedacht. Het is van belang om belangrijke uitgangspunten en beleid, zoals doelarchitectuur en de datastrategie, van de betreffende organisatie meteen te verwerken in het ontwerp en dat het applicatielandschap en de databronnen in beeld wordt gebracht. In deze fase worden doorgaans veel werkzaamheden verzet, zoals business- en informatieanalyse, om een goed beeld te krijgen hoe aan de beoogde doelstellingen kan worden voldaan met een passende oplossing.

Het is goed denkbaar dat meerdere ontwerpen in deze fase tot stand komen voor het te ontwikkelen algoritme. Het is van belang om deze ontwerpen te toetsen bij bijvoorbeeld de proceseigenaar, opdrachtgever en gebruiker, maar ook bij informatiebeveiligingsadviseurs, privacy officers, informatiebeheerders, architecten of een ethicus. Deze experts kunnen vanuit hun vakgebied een eerste toets doen in hoeverre het ontwerp haalbaar of gewenst is, aansluit bij de gebruikersbehoefte, aan welke vereisten moet worden voldaan of dat er risicoanalyses moeten worden uitgevoerd en een onafhankelijke commissies moet worden betrokken.

Met deze input kan het ontwerp worden verbeterd en vraagstukken over bijvoorbeeld governance en risicomanagement verder worden uitgewerkt. In deze fase kan ook een eerste stap worden gezet om de vereisten te vertalen naar concrete maatregelen, te structureren en te beleggen bij de betrokken experts. Als bijvoorbeeld is vastgesteld dat persoonsgegevens noodzakelijkerwijs moeten worden verwerkt en hier een grondslag voor is, dan is het van belang dat voorafgaand aan de dataverkenning en datapreparatie fase voldoende (technische) maatregelen zijn getroffen om de data veilig te verwerken in de beoogde (ontwikkel)omgeving.

Daarnaast dient er in de ontwerpfase ook aandacht besteed te worden aan de succesfactoren van een algoritme. Het is belangrijk om in een multidisciplinaire setting te bepalen hoe het algoritme in de praktijk geëvalueerd kan worden en wanneer we kunnen spreken van een rechtvaardig succes. Hierbij dient er ook te worden nagedacht over evaluatiemethoden om na te gaan of het algoritme voldoet aan bijvoorbeeld het vereiste van non-discriminatie.

Nadat een besluit is genomen over het definitieve ontwerp van het algoritme, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie. Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.

Vereisten

WetgevingAI-verordeningAVGAWBAuteursrechtGrondwet

Vereisten	Wetgeving
Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd	AI-verordening
Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen	AI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen	AI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezicht	AI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig	AI-verordening
Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder	AI-verordening
Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder	AI-verordening
Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen	AI-verordening
Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten	AI-verordening
Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten	AI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie	AI-verordening
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden	AI-verordening
Auteursrechten zijn beschermd	Auteursrecht
Persoonsgegevens worden op een rechtmatige manier verwerkt	AVG
Persoonsgegevens worden zo kort mogelijk bewaard	AVG
Persoonsgegevens worden zo min mogelijk verwerkt	AVG
Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair	AVG
Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken	AVG
Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt	AVG
Besluiten met rechtsgevolgen of aanmerkelijke effecten zijn niet volledig geautomatiseerd	AVG
Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen	AVG
Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen	AVG
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig	AWB
Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit	AWB
Algoritmes schenden geen grondrechten of mensenrechten	Grondwet
Algoritmes discrimineren niet	Grondwet

Maatregelen

Maatregelen
Overleg regelmatig met belanghebbenden
Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing
Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.
Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
Maak een lijst van de meest kwetsbare groepen en bescherm hen extra
Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
Beschrijf welke data gebruikt wordt voor de beoogde toepassing
Koop duurzaam algoritmes in
Ontwerp algoritmes zo eenvoudig mogelijk
Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst
Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving
Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding
Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding
Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen
Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken
Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
Maak vereisten voor algoritmes onderdeel van de Service Level Agreement
Maak (contractuele) afspraken over data en artefacten met een aanbieder
Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben
Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze
Identificeer en implementeer technische interventies die robuustheid vergroten
Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme
Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output
Bepaal of een algoritme moet worden ontwikkeld of ingekocht
Controleer de auteursrechten van eigen data
Gebruik duurzame datacenters
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Bepaal welke feedbackloops van invloed zijn op het algoritme
Toets het algoritme op bias en voer een rechtvaardigingstoets uit
Richt de juiste menselijke controle in van het algoritme
Meten, monitoren en rapporteren van milieu-impact van algoritmes
Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.