Ontwerp

In de ontwerpfase wordt het conceptuele ontwerp van het AI-systeem uitgedacht. Het is van belang om belangrijke uitgangspunten en beleid, zoals doelarchitectuur en de datastrategie, van de betreffende organisatie meteen te verwerken in het ontwerp en dat het applicatielandschap en de databronnen in beeld wordt gebracht. In deze fase worden doorgaans veel werkzaamheden verzet, zoals business- en informatieanalyse, om een goed beeld te krijgen hoe aan de beoogde doelstellingen kan worden voldaan met een passende oplossing.

Het is goed denkbaar dat meerdere ontwerpen in deze fase tot stand komen voor het te ontwikkelen algoritme of AI-systeem. Het is van belang om deze ontwerpen te toetsen bij bijvoorbeeld de proceseigenaar, opdrachtgever en gebruiker, maar ook bij informatiebeveiligingsadviseurs, privacy officers, informatiebeheerders, architecten of een ethicus. Deze experts kunnen vanuit hun vakgebied een eerste toets doen in hoeverre het ontwerp haalbaar of gewenst is, aansluit bij de gebruikersbehoefte, aan welke vereisten moet worden voldaan of dat er risicoanalyses moeten worden uitgevoerd en een onafhankelijke commissies moet worden betrokken.

Met deze input kan het ontwerp worden verbeterd en vraagstukken over bijvoorbeeld governance en risicomanagement verder worden uitgewerkt. In deze fase kan ook een eerste stap worden gezet om de vereisten te vertalen naar concrete maatregelen, te structureren en te beleggen bij de betrokken experts. Als bijvoorbeeld is vastgesteld dat persoonsgegevens noodzakelijkerwijs moeten worden verwerkt en hier een grondslag voor is, dan is het van belang dat voorafgaand aan de dataverkenning en datapreparatie fase voldoende (technische) maatregelen zijn getroffen om de data veilig te verwerken in de beoogde (ontwikkel)omgeving.

Daarnaast dient er in de ontwerpfase ook aandacht besteed te worden aan de succesfactoren van een algoritme of AI-systeem. Het is belangrijk om in een multidisciplinaire setting te bepalen hoe het algoritme in de praktijk geëvalueerd kan worden en wanneer we kunnen spreken van een rechtvaardig succes. Hierbij dient er ook te worden nagedacht over evaluatiemethoden om na te gaan of het algoritme of AI-systeem voldoet aan bijvoorbeeld het vereiste van non-discriminatie.

Nadat een besluit is genomen over het definitieve ontwerp van het algoritme of AI-systeem, kan worden gestart met het inrichten van de ontwikkelomgeving (indien nodig), de dataverkenning, datapreparatie. Dit besluit betekent dat een akkoord wordt gegeven voor het type algoritme en de beoogde werking.

Vereisten

id	Vereisten
aia-02	Beoordeling als niet 'hoog-risico-AI-systeem' is gedocumenteerd
aia-04	Hoog-risico-AI-systemen vormen geen risico voor kwetsbare groepen zoals kinderen
aia-08	Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen
aia-09	Hoog-risico-AI-systemen staan onder menselijk toezicht
aia-10	Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig
aia-12	Documentatie over hoog-risico-AI-systemen wordt tien jaar bewaard door de aanbieder
aia-13	Logs van hoog-risico-AI-systemen worden zes maanden bewaard door de aanbieder
aia-19	Hoog-risico-AI-systemen voldoen aan de toegankelijkheidseisen
aia-28	Mensen over wie besluiten worden genomen door een hoog-risico-AI-systemen, krijgen op verzoek informatie over deze besluiten
aia-29	Hoog-risico-AI-systemen voor publieke taken worden beoordeeld op gevolgen voor grondrechten
aia-29	AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie
aut-01	Auteursrechten zijn beschermd
avg-01	Persoonsgegevens worden op een rechtmatige manier verwerkt
avg-02	Persoonsgegevens worden zo kort mogelijk bewaard
avg-03	Persoonsgegevens worden zo min mogelijk verwerkt
avg-04	Persoonsgegevens en andere data verwerken gebeurt proportioneel en subsidiair
avg-06	Organisaties kunnen bewijzen dat zij persoonsgegevens op de juiste manier verwerken
avg-08	Gevoelige persoonsgegevens worden alleen gebruikt als hiervoor een wettelijke uitzondering geldt
avg-10	Besluiten die levens kunnen beïnvloeden, zijn niet volledig geautomatiseerd
avg-11	Ontwerp en standaardinstellingen (defaults) zijn zo gunstig mogelijk voor de privacy van betrokkenen
avg-13	Een Data Protection Impact Assessment (DPIA) wordt uitgevoerd wanneer de verwerking van persoonsgegevens waarschijnlijk een hoog risico met zich meebrengt voor de rechten en vrijheden van natuurlijke personen
awb-01	Organisaties die algoritmes gebruiken voor publieke taken gaan zorgvuldig te werk
awb-02	Organisaties kunnen duidelijk uitleggen waarom en hoe algoritmes leiden tot een besluit
grw-01	Algoritmes schenden geen grondrechten of mensenrechten

Maatregelen

id	Maatregelen
pba-04	Overleg regelmatig met belanghebbenden
owp-01	Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes
owp-02	Beschrijf welke data gebruikt wordt voor de beoogde toepassing
owp-03	Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
owp-04	Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing
owp-05	Bepaal het soort algoritme en de risicogroep en vereisten die hierbij horen
owp-06	Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging
owp-07	Maak een lijst van de meest kwetsbare groepen en bescherm hen extra
owp-08	Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
owp-09	Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt
owp-09	Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes.
owp-10	Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
owp-11	Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.
owp-11	Koop duurzaam algoritmes in
owp-12	Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders.
owp-12	Ontwerp algoritmes zo eenvoudig mogelijk
owp-13	Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst.
owp-14	Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt.
owp-15	Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving.
owp-17	Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding
owp-18	Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding.
owp-19	Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
owp-20	Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke.
owp-21	Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst
owp-22	Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen
owp-23	Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken.
owp-24	Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject
owp-25	Maak vereisten onderdeel van het programma van eisen bij een aanbesteding
owp-26	Maak vereisten voor algoritmes onderdeel van de Service Level Agreement
owp-27	Maak (contractuele) afspraken over data en artefacten met een aanbieder
dat-06	Controleer de auteursrechten van eigen data
dat-07	Gebruik duurzame datacenters
owk-03	Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
ver-01	Toets het algoritme op bias
imp-03	Organiseer menselijke controle van het algoritme
mon-05	Meten, monitoren en rapporteren van milieu-impact van algoritmes

Disclaimer

Het Algoritmekader is nog volop in ontwikkeling. Op deze plek willen we vooral aan de slag gaan op een open en transparante wijze. Het is dus niet definitief. Dat betekent dat er dingen opstaan die niet af zijn en soms zelfs fout. Mocht er iets niet kloppen, laat het ons weten via GitHub.