Ga naar inhoud

Functioneringsgesprek AI

Verificatie en validatieMonitoring en beheerUitfaserenJuristOntwikkelaarProjectleiderBeleid en adviesGovernanceTechnische robuustheid en veiligheidMenselijke controle

Direct naar het Functioneringsgesprek AI

Hulpmiddel

Het Functioneringsgesprek voor AI is een tool ontwikkeld door Data School van de Universiteit Utrecht, in samenwerking met de Rijksinspectie Digitale Infrastructuur (RDI) en de Nederlandse Voedsel- en Warenautoriteit (NVWA). Het is een instrument om te testen hoe AI in verloop van tijd functioneert. Dit wordt gedaan op basis van 4 dimensies: werkzaamheden, prestaties, organisatie en ontwikkeling. Deze vragen worden doorlopen door de gebruiker van de AI, waarna het ingevulde functioneringsgesprek opgeslagen kan worden als interne documentatie en eventueel naar de toezichthouder gestuurd kan worden. De vragen bevatten toelichting om te helpen richting te scheppen in de beantwoording.

Relevantie

Het functioneringsgesprek voor een AI kan worden gezien als een ‘regulier’ functioneringsgesprek, maar dan voor algoritmes en AI: het wordt periodiek ingezet om te beoordelen of de AI over verloop van tijd nog naar behoren functioneert. Het is belangrijk om te benadrukken dat het functioneringsgesprek géén instrument is om van tevoren te bepalen of het algoritme goed inzetbaar is. Het functioneringsgesprek gaat ervan uit dat er al een algoritme impact assessment uitgevoerd is. Het functioneringsgesprek is een test om over verloop van tijd – en na deze initiële toets – het functioneren van het algoritme te beoordelen. Dit kan bijvoorbeeld elk jaar zijn, of elke twee jaar. Ook kunnen er specifieke trigger events zich aandienen waardoor het inzetten van het functioneringsgesprek als noodzakelijk wordt geacht, naast een vast periodiek moment. Dit kan bijvoorbeeld het geval zijn wanneer de AI niet functioneert zoals verwacht en er afwijkende waarden zijn. Het ingevulde FG kan gebruikt worden als kwaliteitsdocument.

Auteur

Dit werk is gemaakt door Data School van de Universiteit Utrecht onder creative commons CC-BY NC 4.0. Het mag niet worden gebruikt voor commerciële doeleinden. Het kan worden gebruikt voor niet-commerciële doeleinden. Je mag het werk aanpassen, onder de voorwaarden dat je Data School, Universiteit Utrecht noemt als oorspronkelijke auteur en het laat weten via dataschool@uu.nl.

De ontwikkeling van dit werk werd ondersteund door inzichten en financiering van de Rijksinspectie voor Digitale Infrastructuur (RDI), de Nederlandse Voedsel- en Warenautoriteit (NVWA) en de AI Labs van Universiteit Utrecht.

Bijbehorende vereisten

IDVereiste
aia-09Hoog-risico-AI-systemen staan onder menselijk toezicht
aia-18Als een hoog-risico-AI-systeem niet voldoet aan de AI-verordening, grijpt de aanbieder in
aia-22De werking van hoog-risico-AI-systemen wordt gemonitord
awb-01Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig

Bijbehorende maatregelen

IDMaatregel
org-00Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel
org-12Controleer en verbeter regelmatig de kwaliteit van het algoritme
pba-02Beschrijf het doel van het algoritme
owp-06Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd
ver-01Controleer regelmatig of het algoritme werkt zoals het bedoeld is
ver-02Evalueer de nauwkeurigheid van het algoritme
ver-05Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid
ver-06Evalueer de betrouwbaarheid van het algoritme
mon-05Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.
mon-07Stel een plan op voor continue monitoring