Fase 2: Ontwerp

In de ontwerpfase wordt het conceptuele ontwerp van het algoritme uitgedacht. Het is van belang om belangrijke uitgangspunten en beleid, zoals doelarchitectuur en de datastrategie, van de betreffende organisatie meteen te verwerken in het ontwerp en dat het applicatielandschap en de databronnen in beeld wordt gebracht. In deze fase worden doorgaans veel werkzaamheden verzet, zoals business- en informatieanalyse, om een goed beeld te krijgen hoe aan de beoogde doelstellingen kan worden voldaan met een passende oplossing.

Het is goed denkbaar dat meerdere ontwerpen in deze fase tot stand komen voor het te ontwikkelen algoritme. Het is van belang om deze ontwerpen te toetsen bij bijvoorbeeld de proceseigenaar, opdrachtgever en gebruiker, maar ook bij informatiebeveiligingsadviseurs, privacy officers, informatiebeheerders, architecten of een ethicus. Deze experts kunnen vanuit hun vakgebied een eerste toets doen in hoeverre het ontwerp haalbaar of gewenst is, aansluit bij de gebruikersbehoefte, aan welke vereisten moet worden voldaan of dat er risicoanalyses moeten worden uitgevoerd en een onafhankelijke commissies moet worden betrokken.

Met deze input kan het ontwerp worden verbeterd en vraagstukken over bijvoorbeeld governance en risicomanagement verder worden uitgewerkt. In deze fase kan ook een eerste stap worden gezet om de vereisten te vertalen naar concrete maatregelen, te structureren en te beleggen bij de betrokken experts. Als bijvoorbeeld is vastgesteld dat persoonsgegevens noodzakelijkerwijs moeten worden verwerkt en hier een grondslag voor is, dan is het van belang dat voorafgaand aan de dataverkenning en datapreparatie fase voldoende (technische) maatregelen zijn getroffen om de data veilig te verwerken in de beoogde (ontwikkel)omgeving.

Daarnaast dient er in de ontwerpfase ook aandacht besteed te worden aan de succesfactoren van een algoritme. Het is belangrijk om in een multidisciplinaire setting te bepalen hoe het algoritme in de praktijk geëvalueerd kan worden en wanneer we kunnen spreken van een rechtvaardig succes. Hierbij dient er ook te worden nagedacht over evaluatiemethoden om na te gaan of het algoritme voldoet aan bijvoorbeeld het vereiste van non-discriminatie.

Nadat een besluit is genomen over het definitieve ontwerp van het algoritme, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie. Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.

Vereisten

id	Vereisten
aia-02	Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd.
aia-04	Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen.
aia-08	Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen.
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht.
aia-10	Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig.
aia-12	Documentatie over hoog-risico-AI-systemen wordt 10 jaar bewaard door de aanbieder.
aia-13	Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder.
aia-19	Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen.
aia-26	Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten
aia-27	Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten
aia-29	AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie.
aia-30	Aanbieders van AI-modellen voor algemene doeleinden met een systeemrisico treffen extra maatregelen.
aia-38	Hoog-risico-AI-systemen zijn getest.
aia-39	Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden.
aut-01	Auteursrechten zijn beschermd.
avg-01	Persoonsgegevens worden op een rechtmatige manier verwerkt.
avg-02	Persoonsgegevens worden zo kort mogelijk bewaard.
avg-03	Persoonsgegevens worden zo min mogelijk verwerkt.
avg-04	Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair.
avg-06	Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken.
avg-08	Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt.
avg-10	Besluiten die levens kunnen beïnvloeden, zijn niet volledig geautomatiseerd.
avg-11	Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen.
avg-13	Een gegevensbeschermingseffectbeoordeling (DPIA) is verplicht, indien een verwerking van persoonsgegevens waarschijnlijk een hoog risico inhoudt voor de rechten en vrijheden van natuurlijke personen.
awb-01	Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.
awb-02	Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit
grw-01	Algoritmes schenden geen grondrechten of mensenrechten.
grw-02	Algoritmes discrimineren niet.

Maatregelen

id	Maatregelen
pba-04	Overleg regelmatig met belanghebbenden
pba-06	Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes.
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
owp-11	Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.
owp-03	Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
owp-04	Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing
owp-05	Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horen
owp-06	Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd
owp-07	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-08	Maak een lijst van de meest kwetsbare groepen en bescherm hen extra
owp-09	Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
owp-10	Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
owp-11	Beschrijf welke data gebruikt wordt voor de beoogde toepassing
owp-12	Koop duurzaam algoritmes in
owp-13	Ontwerp algoritmes zo eenvoudig mogelijk
owp-14	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
owp-15	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.
owp-16	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.
owp-17	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.
owp-18	Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.
owp-20	Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding
owp-21	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.
owp-22	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-23	Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.
owp-24	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-25	Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen
owp-26	Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.
owp-27	Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
owp-28	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-29	Maak vereisten voor algoritmes onderdeel van de Service Level Agreement
owp-30	Maak (contractuele) afspraken over data en artefacten met een aanbieder
owp-31	Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben.
owp-33	Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze.
owp-34	Identificeer en implementeer technische interventies die robuustheid vergroten
owp-36	Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme.
owp-37	Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output.
dat-05	Controleer de auteursrechten van eigen data
dat-06	Gebruik duurzame datacenters
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
owk-08	Bepaal welke feedbackloops van invloed zijn op het algoritme
ver-03	Toets het algoritme op bias
imp-03	Richt de juiste menselijke controle in van het algoritme
mon-06	Meten, monitoren en rapporteren van milieu-impact van algoritmes
uit-01	Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.