Ga naar inhoud

Interactie met de levenscyclus

Voor effectieve governance van algoritmen en AI-modellen is het essentieel om bij de ontwikkeling en gebruik van algoritmen en AI-modellen heldere afspraken te hebben over de interactie en informatie-uitwisseling die vereist is om aan de verantwoording te voldoen. Dit moet gebeuren in iedere fase van de levenscyclus, tussen de direct betrokkenen en de stakeholders binnen en buiten de organisatie. Dit vindt plaats via de rollen en verantwoordelijkheden per levenscyclusstap.

Het gaat enerzijds om top-down betrokkenheid en verantwoordelijkheid, waarbij wordt gestuurd op de juiste doelstellingen, waarden en principes. Daarnaast worden passende middelen en randvoorwaarden gealloceerd om verantwoorde inzet te waarborgen. Anderzijds gaat het om bottom-up betrokkenheid van de juiste stakeholders binnen de organisatie. Hierbij wordt de benodigde informatie verschaft en worden afwegingen en uitdagingen voorgelegd om de verantwoorde inzet van algoritmen en AI mogelijk te maken.

In elke type levenscyclus vind je een ontwerpfase, een ontwikkelfase en een deployfase (in gebruik nemen).

Veel organisaties hebben al een levenscyclus voor AI-ontwikkeling. AI-governance kan hierop aansluiten door 'gates' of controlepunten in te voeren tussen de verschillende stappen in de levenscyclus waar bepaalde processen worden uitgevoerd door verantwoordelijken, zoals het aanleveren van documenten, het uitvoeren van controles en het maken van afwegingen.

Houd er rekening mee dat de 'gates' niet altijd hetzelfde hoeven te zijn tussen verschillende projecten. Zo vereist een algoritme met een hoog-risicoclassificatie andere governance dan minder impactvolle algoritmes. Eveneens vraagt het inkoopproces van een off-the-shelf AI-systeem of SaaS om andere procedures dan de inkoop van software die nog verder ontwikkeld wordt.

Hieronder volgen twee voorbeelden van hoe governance effectief kan worden geïntegreerd in de levenscyclus van algoritmen en AI-modellen:

Ministerie VWS In de levenscyclus

In het hulpmiddel handelingsruimte waardevolle AI in de zorg is tussen elke fase in de levenscyclus een ‘gate’ geplaatst. Tussen de afronding van een fase en de start van de daaropvolgende fase wordt een formele poort geplaatst. Om door deze poort te gaan, moet de voorgaande fase volledig zijn afgerond: vraagstukken dienen beantwoord te zijn, activiteiten uitgevoerd en aan interne en externe vereisten dient te zijn voldaan. Deze zaken kunnen in de vorm van documentatie aan de organisatie worden opgeleverd, waarna een gesprek of review kan plaatsvinden.

Het vormgeven van deze overgangen geeft verantwoordelijke stakeholders binnen de organisatie een structuur om de ontwikkeling en inzet van algoritmen en AI in elke fase te beoordelen en bij te sturen. De gezamenlijke kernvraag voor alle betrokkenen in de gates is: Geloven we dat de voordelen van de inzet (en ontwikkeling) van dit algoritme of AI-model opwegen tegen eventueel te verwachten nadelen? En hoe gaan we om met deze dilemma's? Daarbij kunnen opvolgende fasen in de levenscyclus een eigen accentvraag kennen, zoals “Is het beoogde algoritme wenselijk?” in de probleemanalyse fase tot “Levert het algoritme nog de waarde op die we beogen?” tijdens de monitoring- en beheerfase.

Afbeelding

Voorbeeld: Het UWV

In haar modellevenscyclus [^3] maakt het UWV gebruik van een gelaagdheid in de “gates” door gebruik te maken van een zachte en harde knip tussen de opvolgende fasen. Enerzijds is er een zachte knip voorzien door aan het eind van elke fase de mogelijkheid te laten om een stap terug te zetten in de levenscyclus. Mocht het onduidelijk zijn wat de beoogde voordelen zijn ten opzichte van de nadelen, of er onvoldoende invulling gegeven is aan de vereisten/activiteiten, dan kan het algoritme of AI-model ontwikkelproces bij een zachte knip een stap terugnemen in de levenscyclus. Anderzijds zijn er 4 harde grenzen in de levenscyclus aangebracht waarin formele vereisten aan het ontwikkeltraject worden opgelegd.

Afbeelding

Aandachts- en actiepunten

  • Introduceer ‘gates’ tussen fases in de AI-lifecycle; voor de cyclus verder kan gaan moeten handelingen worden uitgevoerd door verantwoordelijken zoals: documenten aanleveren, (ethische) afwegingen, rapportages.
  • De levencyclus bij inkoop is waarschijnlijk anders, maar heeft ook 'gates' en procedures nodig.

Bronnen