Fase 2: Ontwerp

In de ontwerpfase schets je ontwerpen voor het algoritme of AI-systeem. Elk ontwerp is een mogelijke oplossing voor het probleem en sluit aan bij de doelen van de opdrachtgever.

Taken ontwerpfase

In deze fase verzet je meestal veel werk om duidelijk te krijgen wat voor oplossing past bij de doelen van de opdrachtgever. Belangrijke taken zijn:

• verwerken van beleid en belangrijke uitgangspunten van de opdrachtgever, zoals doelarchitectuur en datastrategie
• bestaande applicaties en databronnen op een rij zetten
• uitvoeren van een businessanalyse en informatieanalyse

Toetsen en verbeteren

Ontwerpen laat je controleren door een multidisciplinair team. Dit zijn bijvoorbeeld medewerkers in de volgende rollen:

• proceseigenaar
• opdrachtgever
• gebruiker
• informatiebeveiligingsadviseur
• privacy-officer
• informatiebeheerder
• architect
• ethicus

Dit soort experts kunnen vanuit hun vakgebied een eerste toets doen:

• Is het ontwerp haalbaar en gewenst?
• Sluit het ontwerp aan op de behoeftes van gebruikers?
• Aan welke eisen moet het ontwerp voldoen?
• Zijn er bepaalde risicoanalyses nodig?
• Zijn er onafhankelijke commissies nodig?

Op basis van deze informatie verbeter je het ontwerp en werk je vraagstukken uit zoals algoritmegovernance en risicomanagement.

Maatregelen bepalen

In de ontwerpfase kun je ook starten met het:

• vertalen van vereisten naar concrete maatregelen
• structureren van deze maatregelen
• aanwijzen van experts die verantwoordelijk zijn voor deze maatregelen

Tip

Maatregelen voor het veilig verwerken van persoonsgegevens neem je tijdens de ontwerpfase. Daarna ben je te laat.

Succesfactoren bepalen

Besteed aandacht aan de succesfactoren van het algoritme of AI-systeem. Bepaal in elk geval met een multidisciplinair team:

• hoe je het algoritme of AI-systeem evalueert
• met welke methoden je nagaat of het voldoet aan alle vereisten zoals non-discriminatie
• wat een 'rechtvaardig succes' is

Definitief ontwerp

Uiteindelijk concludeer je welk type algoritme of AI-systeem passend is. En hoe dit zou moeten werken. Hiervoor vraag je akkoord van de opdrachtgever of (gemandateerd) verantwoordelijke. Heeft het ontwerp nog aanpassingen nodig, dan doorloop je opnieuw de fase van probleemanalyse.

Kiest de organisatie een definitief ontwerp, dan ga je verder met dataverkenning en datapreparatie.

Tip

Denk alvast na over welke versie of versies van het algoritme of AI-systeem je wil archiveren. Door aanpassingen in de data of rekenregels, of door het opnieuw trainen met nieuwe data, kan een algoritme of AI-systeem namelijk veranderen. Als je hier nu al aandacht aan besteed, bespaar je achteraf bij het uitfaseren een hoop uitzoekwerk.

Vereisten ontwerpfase

WetgevingAI-verordeningAVGAWBAuteursrechtGrondwet

Vereisten	Wetgeving
Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd	AI-verordening
Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen	AI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen	AI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezicht	AI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig	AI-verordening
Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder	AI-verordening
Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder	AI-verordening
Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen	AI-verordening
Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten	AI-verordening
Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten	AI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie	AI-verordening
Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden	AI-verordening
Auteursrechten zijn beschermd	Auteursrecht
Persoonsgegevens worden op een rechtmatige manier verwerkt	AVG
Persoonsgegevens worden zo kort mogelijk bewaard	AVG
Persoonsgegevens worden zo min mogelijk verwerkt	AVG
Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair	AVG
Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken	AVG
Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt	AVG
Besluiten met rechtsgevolgen of aanmerkelijke effecten zijn niet volledig geautomatiseerd	AVG
Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen	AVG
Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen	AVG
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig	AWB
Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit	AWB
Algoritmes schenden geen grondrechten of mensenrechten	Grondwet
Algoritmes discrimineren niet	Grondwet

Aanbevolen maatregelen ontwerpfase

Maatregelen
Overleg regelmatig met belanghebbenden
Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing
Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.
Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
Maak een lijst van de meest kwetsbare groepen en bescherm hen extra
Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
Beschrijf welke data gebruikt wordt voor de beoogde toepassing
Koop duurzaam algoritmes in
Ontwerp algoritmes zo eenvoudig mogelijk
Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst
Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving
Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding
Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding
Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen
Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken
Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
Maak vereisten voor algoritmes onderdeel van de Service Level Agreement
Maak (contractuele) afspraken over data en artefacten met een aanbieder
Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben
Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze
Identificeer en implementeer technische interventies die robuustheid vergroten
Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme
Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output
Bepaal of een algoritme moet worden ontwikkeld of ingekocht
Controleer de auteursrechten van eigen data
Gebruik duurzame datacenters
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Bepaal welke feedbackloops van invloed zijn op het algoritme
Toets het algoritme op bias en voer een rechtvaardigingstoets uit
Richt bij besluitvorming betekenisvolle menselijke tussenkomst in
Meten, monitoren en rapporteren van milieu-impact van algoritmes
Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.