Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen

imp-10ImplementatieOntwikkelenOntwikkelaarProjectleiderBeleid en adviesTechnische robuustheid en veiligheidMenselijke controle

Maatregel

Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen.

Toelichting

Een algoritme wat volledig correcte uitkomsten geeft maar vervolgens verkeerd wordt gebruikt kan leiden tot problemen. Neem bijvoorbeeld een algoritme wat een tekstdocument controleert en voorstelt aan de gebruiker of het compleet is, of nog onderdelen mist. Wanneer je dan een ‘goedgekeurd’ knop rood maakt, en een ‘afgekeurd’ knop groen, is er een kans dat de gebruiker uit gewoonte op de verkeerde klikt en daarmee alsnog een onjuiste beslissing neemt. Als deze keuze vervolgens als feedback ook weer wordt doorgevoerd in het systeem kan het algoritme ook nog verkeerd gedrag aanleren.

Werk bijvoorbeeld aan de hand van User Centered Design principes om de gebruiker centraal te stellen.

Evaluatie

Breng risico’s in kaart door het goed testen van het systeem in een praktijksetting. Evalueer hier het gedrag van de gebruiker in het grotere systeem.

Onderdelen hiervan zijn:

Aandacht van de gebruiker

Oog en muisbewegingen kunnen inzicht geven waar de aandacht van de gebruiker naartoe gaat. Als er bijvoorbeeld een controle gedaan moet worden over de uitkomst van het algoritme voor het maken van een definitieve beslissing, wil je inzicht krijgen of de gebruiker naar de juiste elementen kijkt om die beslissing te maken.

Interactiegedrag van de gebruiker

Clicks, scrollen, of het gebruik van het algoritme op zich (in plaats van zelf tot een beslissing komen) horen bij het gedrag van de gebruiker. Dit kan inzicht geven of het systeem correct wordt gebruikt, maar ook waar gebruikers mogelijk juist blijven hangen.

Feedback mechanismes

Zijn er manieren waarop de gebruiker feedback kan geven over de uitkomsten wanneer deze naar vermoeden niet kloppen?
Zijn er manieren waarop de gebruiker om hulp kan vragen en wat voor vragen zijn dit?
Op wat voor manier worden errors in het systeem doorgegeven aan de gebruiker?

Transparantie en uitlegbaarheid

Een correct gebruik begint bij een duidelijke instructie en inzicht hoe een algoritme werkt en hoe daar mee om te gaan. Evalueer of de gebruikte methodes hiervoor hun doel bereiken.

Toegankelijkheid

Het is belangrijk om te controleren of het algoritme toegankelijk in gebruik is voor iedereen, inclusief personen met een beperking.

Beveiliging en controle

Het onjuist gebruik waarvoor specifiek gedrag opgemerkt kan worden bij bovenstaande evaluaties moet worden gemonitord. Vervolgens kunnen er beveiligingen (denk aan een melding ‘weet je het zeker?’) ingebouwd worden als zulk gedrag wordt geregistreerd. Kijk vervolgens of deze interventies effectief zijn om fouten te voorkomen.

Bijbehorende vereiste(n)

Bekijk alle vereisten

Vereiste
aia-10 - Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig.

Risico

Een gebruikersinterface die verkeerd gebruik door gebruikers mogelijk maakt, kan ervoor zorgen dat gebruikers verkeerde invoerwaarden geven, zich niet aan de beoogde werkwijze houden of per ongeluk toegang geven aan kwaadwillenden.