Maatregelen

De maatregelen die zijn opgenomen in het Algoritmekader geven aan 'hoe' overheidsorganisaties invulling kunnen geven aan specifieke vereisten. Deze laag is aan het Algoritmekader toegevoegd, omdat het organisaties handvatten kan geven om zelf op een betekenisvolle wijze invulling te geven aan de vereisten. In het Algoritmekader zijn al deze maatregelen gekoppeld aan de levenscyclus van een algoritme, vereisten en rollen. Daarmee is inzichtelijk wanneer en met wie deze maatregelen logischerwijs in stelling kunnen worden gebracht. Organisaties zijn niet verplicht om deze maatregelen te volgen, hoewel ze soms dermate sterk aan de vereisten zijn gekoppeld of voortkomen uit standaarden dat ze praktisch gezien wel moeten worden toegepast.

Een maatregel kan bijvoorbeeld zijn:

'onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse'.

Deze maatregel geeft invulling aan het vereiste van 'non-discriminatie'. Er kunnen meerdere maatregelen zijn die invulling geven aan het vereiste van non-discriminatie. Het is ook denkbaar dat bepaalde maatregelen aan meerdere vereisten kunnen worden gekoppeld. Dit moet organisaties helpen om met hun beschikbare middelen effectief en gericht te komen tot een verantwoorde ontwikkeling en inzet van algoritmes en AI.

Om tot een overzicht van de maatregelen te komen is naar een aantal waardevolle bronnen gekeken. Het Toetsingskader Algoritmes van de Algemene Rekenkamer en het Onderzoekskader algoritmesvan de Auditdienst Rijk zijn daar goede voorbeelden van. Daarnaast is ook de kennis van experts binnen en buiten het team Algoritmekader toegevoegd om te kunnen duiden welke maatregelen in de praktijk kunnen worden getroffen om te voldoen aan de vereisten.

Standaarden

Op nationaal, Europees en internationaal niveau wordt momenteel gewerkt aan de totstandkoming van standaarden. Deze standaarden worden opgesteld door gespecialiseerde organisaties (NEN, JTC21 en ISO) en ondergaan een uitgebreid proces. Dit proces zorgt uiteindelijk voor brede consensus voor de standaarden. Het naleven van deze standaarden door organisaties levert een vermoeden van conformiteit op, ofwel, door het naleven van standaarden is de kans groot dat organisaties voldoen aan de vereisten. De standaarden worden daarom een waardevolle bron voor het Algoritmekader. Waar mogelijk zullen de standaarden onderdeel worden van het Algoritmekader en tot uiting komen in de laag van 'maatregelen'. Er zal een verwijzing worden gemaakt naar de betreffende standaard. Hierover moeten nog nadere afspraken worden gemaakt met deze standaardisatieorganisaties.

Overzicht van maatregelen

Onderstaand volgt een overzicht van maatregelen per fase van de levenscyclus.

Probleemanalyse

Maatregel	Uitleg
Aansprakelijkheidsvoorwaarden worden beoordeeld in de aanbesteding	Maak de aansprakelijkheidsvoorwaarden die een aanbieder ten aanzien van auteursrechten kan geven een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Formuleren doelstelling	Het doel en de eventuele subdoelen van het algoritme moeten zo specifiek mogelijk zijn geformuleerd, en waar mogelijk gekwantificeerd.
Formuleren aanleiding en probleemdefinitie	Formuleer en documenteer wat de aanleiding is om een algoritme of AI-systeem in te willen zetten.
Verken maatregelen van aanbieder om schending auteursrechten te voorkomen	Verken of aanbieder maatregelen heeft genomen om te voorkomen dat auteursrechten worden geschonden.
Menselijke tussenkomst is een vast onderdeel in een projecptlan of een déchargedocument	Neem het element van menselijke tussenkomst op in het projectplan en dchargedocument.
Formuleren aanleiding en probleemdefinitie	Bepaal en documenteer waarom het gewenst of nodig is om een algoritme in te zetten om het probleem te kunnen aanpakken.

Ontwerp

Maatregel	Uitleg
Archiveren beperkingen openbaarheid	Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld.
Vaststellen bewaartermijnen voor archiefbescheiden	Stel de bewaartermijnen vast voor de archiefbescheiden.
Archiefbescheiden vaststellen	Stel vast welke documenten, (samengesteld geheel van) data/informatie van/in het algoritme of het AI-systeem gelden als "archiefbescheiden" in de zin van artikel 1 c Archiefwet en documenteer daarvan een overzicht, bij voorkeur vastgesteld door een daartoe bevoegde.
Stel een autorisatiematrix op	Uitsluitend bevoegde personen mogen de data verwerken en mogen werken aan de ontwikkeling van de algoritmes en AI-systemen. Maak hierover afspraken met de aanbieder.
Bespreek de vereiste met aanbieder of opdrachtnemer	Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Contractuele afspraken over data en artefacten	Maak (contractuele) afspraken met aanbieder wie eigenaar is van de data en artefacten die ontstaan bij het gebruik van algoritmen en AI-systemen.
Controleren eigen data op schending auteursrechten	Controleer of eventueel door de eigen organisatie verstrekte data binnen of buiten auteursrechten vallen. Bij voorkeur blijven de data eigendom van de (verstrekkende) overheidsorganisatie.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.	Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Pas maatregelen toe om (persoons)gegevens te beschermen	Pas maatregelen toe als dataminimalisatie, pseudonimisering, anonimisering of aggregeren van persoonsgegevens bij het verwerken van de (trainings)data.
Kwetsbare groepen in kaart brengen en beschermen	Bepaal wat de impact van het in te zetten algoritme is voor betrokkenen (personen of groepen). Bepaal vervolgens of de er groepen zijn waarbij de impact van het algoritme dermate groot kan zijn, dat het wenselijk is om deze groepen extra bescherming te bieden.
Bewijs laten leveren dat auteursrechten niet worden geschonden met de output	Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden door de output een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling.
Bewijs laten leveren dat auteursrechten niet worden geschonden met de trainingsdata	Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden doordat de trainingsdata rechtmatig is verkregen een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan door tenminste ook een jurist.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving	Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisen	Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaarden	Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomst	Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Maak de vereiste onderdeel van Service Level Agreement	Onderzoek of het relevant is om de vereiste onderdeel te maken van de Service Level Agreement. Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening.
Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	Inventariseer of er mogelijk sprake is van een algoritme of AI-systeem dat een hoog risico kan inhouden voor de rechten en vrijheden van natuurlijke personen of impactvol kan zijn voor hen en maak in voorkomend geval in de model-verwerkersovereenkomst een uitdrukkelijke verwijzing naar een concreet DPIA-document (met datum/kenmerk) of (indien op dat moment nog in bezit of bekend bij de steller) een expliciet invulveld voor het duiden van de betreffende DPIA, zodat die wordt genoemd ter completeren van de verwerkersovereenkomst vooraf het overeenkomen/ondertekenen van die verwerkersovereenkomst.
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.	Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Garantie in conceptovereenkomst dat auteursrechten niet worden geschonden met de trainingsdata	Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten met de verwerkte of te verwerken trainingsdata niet zullen worden geschonden en deze dit gedurende de ontwikkeling en levensduur actief bewaakt.
Stel archiefbescheiden vast	Stel vast welke documenten, data of informatie van het algoritme of het AI-systeem gelden als archiefbescheiden.
Stel een RACI-matrix op	Stel een RACI-matrix op waarbij de rollen en verantwoordelijkheden worden beschreven en toebedeeld bij het verwerken van persoonsgegevens
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.
Vul technische documentatie van aanbieder aan met informatie vanuit de gebruiksverantwoordelijke	Bespreek met het projectteam welke onderdelen van de technische documentatie, als genoemd in de Bijlage 4 AI-verordening, van het algoritme of AI-systeem door welke partij (intern/extern) moeten worden ingevuld of aangevuld.
De mate waarin aanbieder kennisoverdracht en ondersteuning bij implementatie biedt is onderdeel van de aanbesteding	Laat de aanbieder aangeven welke mate van kennisoverdracht en ondersteuning bij de organisatorische implementatie onderdeel is van de aanbesteding en in hoeverre deze als opleiding of training zelfstandig herhaald gebruikt kan worden na implementatie als het systeem in productie c.q. in gebruik is.
Vastellen niveau van benodigde training voor gebruik algoritmen en AI-systemen	Laat de aanbieder aangeven op welk niveau de noodzakelijkerwijs te leveren training passend is voor het beoogde doel, waarbij de opdrachtgever vooraf inzicht geeft in het bestaande niveau, zodat een aanbieder concreet kan zijn over eventuele verschillen tussen beiden.
Stel vast of het gaat om een algoritme en/of AI-systeem en wat de bijbehorende risicoclassificatie is om te bepalen welke vereisten hierop van toepassing zijn.	Het verschilt per typen algoritmen of AI-systemen welke vereisten hierop van toepassing zijn en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie.
Voer voorafgaand aan een aanbesteding een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.	Het is van belang om voorafgaand aan een aanbesteding vast te stellen of de data die noodzakelijk is om een algoritme of AI-systeem te ontwikkelen beschikbaar is of gaat worden en van voldoende kwaliteit is.

Dataverkenning en datapreparatie

Maatregel	Uitleg
Stel een autorisatiematrix op	Uitsluitend bevoegde personen mogen de data verwerken en mogen werken aan de ontwikkeling van de algoritmes en AI-systemen. Maak hierover afspraken met de aanbieder.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Controleren eigen data op schending auteursrechten	Controleer of eventueel door de eigen organisatie verstrekte data binnen of buiten auteursrechten vallen. Bij voorkeur blijven de data eigendom van de (verstrekkende) overheidsorganisatie.
Pas maatregelen toe om (persoons)gegevens te beschermen	Pas maatregelen toe als dataminimalisatie, pseudonimisering, anonimisering of aggregeren van persoonsgegevens bij het verwerken van de (trainings)data.
Stel een RACI-matrix op	Stel een RACI-matrix op waarbij de rollen en verantwoordelijkheden worden beschreven en toebedeeld bij het verwerken van persoonsgegevens

Ontwikkelen

Maatregel	Uitleg
Archiveren beperkingen openbaarheid	Stel vast of beperkingen aan openbaarheid van de archiefbescheiden moeten worden gesteld.
Vaststellen bewaartermijnen voor archiefbescheiden	Stel de bewaartermijnen vast voor de archiefbescheiden.
Bewaartermijnen zijn toegepast	Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct zijn of worden vertaald naar het algoritme of AI-systeem en de onderliggende systemen. Controleer of deze maatregelen zijn getroffen en zorg dat dit aantoonbaar is.
Archiefbescheiden zijn duurzaam toegankelijk	Stel vast hoe de archiefbescheiden op een duurzame wijze toegankelijk kunnen worden gemaakt.
Archiefbescheiden vaststellen	Stel vast welke documenten, (samengesteld geheel van) data/informatie van/in het algoritme of het AI-systeem gelden als "archiefbescheiden" in de zin van artikel 1 c Archiefwet en documenteer daarvan een overzicht, bij voorkeur vastgesteld door een daartoe bevoegde.
Stel een autorisatiematrix op	Uitsluitend bevoegde personen mogen de data verwerken en mogen werken aan de ontwikkeling van de algoritmes en AI-systemen. Maak hierover afspraken met de aanbieder.
Bepaal of de output bepalende invloed heeft in een besluit richting personen	Vergewis of het algoritme of AI-systeem overwegend bepalende invloed heeft in een besluit richting personen en laat aanbieder onderbouwen in hoeverre dit wel of niet het geval is. Maak de mate van menselijke tussenkomst onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan
Bespreek de vereiste met aanbieder of opdrachtnemer	Ga met aanbieder of opdrachtnemer in gesprek over in hoeverre invulling is gegeven of kan worden gegeven aan de vereiste.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Controle mechanisme voor betekenisvolle menselijke tussenkomst bij gebruiken output	Zorg voor een controle mechanisme waarmee kan worden voorkomen dat gebruikers belangrijke output van algoritmen en AI-systemen, zonder betekenisvolle menselijke tussenkomst, bv. enkel met doorklikken, kunnen overnemen.
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren.	Om op een betekenisvolle manier invulling te geven bepaalde vereisten, kan het nodig zijn dat de opdrachtgever en aanbieder/opdrachtnemer (innovatief) samenwerken om deze vereiste te realiseren.
Pas maatregelen toe om (persoons)gegevens te beschermen	Pas maatregelen toe als dataminimalisatie, pseudonimisering, anonimisering of aggregeren van persoonsgegevens bij het verwerken van de (trainings)data.
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving	Door aanbieders bewijs te laten leveren dat zij voldoen aan de vereiste, kan worden beoordeeld in hoeverre daadwerkelijk wordt voldaan aan deze vereiste.
Maak de vereiste onderdeel van het programma van eisen	Door de vereiste onderdeel te maken van het programma van eisen bij de aanbesteding, is het voor aanbieders duidelijk aan welke specifieke eisen hun oplossing moet voldoen.
Maak de vereiste onderdeel van contractvoorwaarden	Door de vereiste onderdeel te maken van contractvoorwaarden, is het voor aanbieders vooraf duidelijk waar zij aan moeten voldoen.
Maak de vereiste onderdeel van de contractovereenkomst	Door de vereiste onderdeel te maken van de contractvereenkomst, worden deze contractueel afdwingbaar.
Maak de vereiste onderdeel van Service Level Agreement	Onderzoek of het relevant is om de vereiste onderdeel te maken van de Service Level Agreement. Met een SLA kunnen specifieke afspraken worden gemaakt over de kwaliteit van de dienstverlening.
Menselijke tussenkomst is een vast onderdeel in een projecptlan of een déchargedocument	Neem het element van menselijke tussenkomst op in het projectplan en dchargedocument.
Neem technische documentatie op in het algoritmeregister	Neem geschikte informatie uit technische documentatie op in het algoritmeregister
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding.	Door de vereiste op te nemen als subgunningscriteria ontstaat een mogelijkheid voor aanbieders om zich te onderscheiden.
Restrisico's met betrekking tot schending auteursrechten zijn inzichtelijk gemaakt	Maak in de beoordelingsmatrix, beoordeling, beoordelingsproces en/of werkwijze van beoordelingscommissies helder op welke wijze c.q. volgens welk proces wordt omgegaan met mogelijke onvermijdelijk resterende auteursrechtelijke risico's, het vaststellen van de onvermijdelijkheid en hoe deze resterende risico's in de beoordeling werking hebben of kunnen hebben.
Garantie in conceptovereenkomst dat aanbieder auteursrechten niet schendt met de output	Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten niet worden geschonden met de output van het algoritme of AI-systeem en dat hij dit gedurende de ontwikkeling en levensduur actief bewaakt.
Stel archiefbescheiden vast	Stel vast welke documenten, data of informatie van het algoritme of het AI-systeem gelden als archiefbescheiden.
Stel een RACI-matrix op	Stel een RACI-matrix op waarbij de rollen en verantwoordelijkheden worden beschreven en toebedeeld bij het verwerken van persoonsgegevens
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	Het is van belang dat opdrachtgever mogelijkheden heeft om te controleren in hoeverre door aanbieder/opdrachtnemer wordt voldaan aan naleving van de vereiste.
Stel vast of het gaat om een algoritme en/of AI-systeem en wat de bijbehorende risicoclassificatie is om te bepalen welke vereisten hierop van toepassing zijn.	Het verschilt per typen algoritmen of AI-systemen welke vereisten hierop van toepassing zijn en waar een aanbieder of gebruiksverantwoordelijke aan moet voldoen. Dit is mede afhankelijk van de bijbehorende risicoclassificatie.
Voer voorafgaand aan een aanbesteding een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit.	Het is van belang om voorafgaand aan een aanbesteding vast te stellen of de data die noodzakelijk is om een algoritme of AI-systeem te ontwikkelen beschikbaar is of gaat worden en van voldoende kwaliteit is.

Verificatie en validatie

Maatregel	Uitleg
Bewaartermijnen zijn toegepast	Zorg ervoor dat de vereisten met betrekking tot bewaartermijnen correct zijn of worden vertaald naar het algoritme of AI-systeem en de onderliggende systemen. Controleer of deze maatregelen zijn getroffen en zorg dat dit aantoonbaar is.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Neem technische documentatie op in het algoritmeregister	Neem geschikte informatie uit technische documentatie op in het algoritmeregister
Restrisico's met betrekking tot schending auteursrechten zijn inzichtelijk gemaakt	Maak in de beoordelingsmatrix, beoordeling, beoordelingsproces en/of werkwijze van beoordelingscommissies helder op welke wijze c.q. volgens welk proces wordt omgegaan met mogelijke onvermijdelijk resterende auteursrechtelijke risico's, het vaststellen van de onvermijdelijkheid en hoe deze resterende risico's in de beoordeling werking hebben of kunnen hebben.

Implementatie

Maatregel	Uitleg
Aansprakelijkheidsvoorwaarden worden beoordeeld in de aanbesteding	Maak de aansprakelijkheidsvoorwaarden die een aanbieder ten aanzien van auteursrechten kan geven een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan.
Stel een autorisatiematrix op	Uitsluitend bevoegde personen mogen de data verwerken en mogen werken aan de ontwikkeling van de algoritmes en AI-systemen. Maak hierover afspraken met de aanbieder.
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Configuratie met de mens	Zorg voor complementariteit tussen algoritmische systeem en de mensen die ermee moeten werken.
Verken maatregelen van aanbieder om schending auteursrechten te voorkomen	Verken of aanbieder maatregelen heeft genomen om te voorkomen dat auteursrechten worden geschonden.
Neem technische documentatie op in het algoritmeregister	Neem geschikte informatie uit technische documentatie op in het algoritmeregister
Stel een RACI-matrix op	Stel een RACI-matrix op waarbij de rollen en verantwoordelijkheden worden beschreven en toebedeeld bij het verwerken van persoonsgegevens

Monitoring en beheer

Maatregel	Uitleg
Bepaal of de output bepalende invloed heeft in een besluit richting personen	Vergewis of het algoritme of AI-systeem overwegend bepalende invloed heeft in een besluit richting personen en laat aanbieder onderbouwen in hoeverre dit wel of niet het geval is. Maak de mate van menselijke tussenkomst onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan
Betrek belanghebbenden	Breng in kaart welke belanghebbenden er zijn en betrek hen op verschillende momenten in de levenscyclus.
Contractuele afspraken over data en artefacten	Maak (contractuele) afspraken met aanbieder wie eigenaar is van de data en artefacten die ontstaan bij het gebruik van algoritmen en AI-systemen.
Controle mechanisme voor betekenisvolle menselijke tussenkomst bij gebruiken output	Zorg voor een controle mechanisme waarmee kan worden voorkomen dat gebruikers belangrijke output van algoritmen en AI-systemen, zonder betekenisvolle menselijke tussenkomst, bv. enkel met doorklikken, kunnen overnemen.
Bewijs laten leveren dat auteursrechten niet worden geschonden met de output	Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden door de output een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling.
Bewijs laten leveren dat auteursrechten niet worden geschonden met de trainingsdata	Maak het al dan niet kunnen leveren van bewijs door een aanbieder dat auteursrechten niet worden geschonden doordat de trainingsdata rechtmatig is verkregen een vast onderdeel van de wedstrijd/inkoop/beoordeelingsmatrix als ook de vaste beoordeling hiervan door tenminste ook een jurist.
Menselijke tussenkomst is een vast onderdeel in een projecptlan of een déchargedocument	Neem het element van menselijke tussenkomst op in het projectplan en dchargedocument.
Een model-verwerkersovereenkomst is onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	Inventariseer of er mogelijk sprake is van een algoritme of AI-systeem dat een hoog risico kan inhouden voor de rechten en vrijheden van natuurlijke personen of impactvol kan zijn voor hen en maak in voorkomend geval in de model-verwerkersovereenkomst een uitdrukkelijke verwijzing naar een concreet DPIA-document (met datum/kenmerk) of (indien op dat moment nog in bezit of bekend bij de steller) een expliciet invulveld voor het duiden van de betreffende DPIA, zodat die wordt genoemd ter completeren van de verwerkersovereenkomst vooraf het overeenkomen/ondertekenen van die verwerkersovereenkomst.
Neem technische documentatie op in het algoritmeregister	Neem geschikte informatie uit technische documentatie op in het algoritmeregister
Garantie in conceptovereenkomst dat aanbieder auteursrechten niet schendt met de output	Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten niet worden geschonden met de output van het algoritme of AI-systeem en dat hij dit gedurende de ontwikkeling en levensduur actief bewaakt.
Garantie in conceptovereenkomst dat auteursrechten niet worden geschonden met de trainingsdata	Neem in de conceptovereenkomst op dat de aanbieder garandeert dat auteursrechten met de verwerkte of te verwerken trainingsdata niet zullen worden geschonden en deze dit gedurende de ontwikkeling en levensduur actief bewaakt.
Stel een RACI-matrix op	Stel een RACI-matrix op waarbij de rollen en verantwoordelijkheden worden beschreven en toebedeeld bij het verwerken van persoonsgegevens
Vul technische documentatie van aanbieder aan met informatie vanuit de gebruiksverantwoordelijke	Bespreek met het projectteam welke onderdelen van de technische documentatie, als genoemd in de Bijlage 4 AI-verordening, van het algoritme of AI-systeem door welke partij (intern/extern) moeten worden ingevuld of aangevuld.
De mate waarin aanbieder kennisoverdracht en ondersteuning bij implementatie biedt is onderdeel van de aanbesteding	Laat de aanbieder aangeven welke mate van kennisoverdracht en ondersteuning bij de organisatorische implementatie onderdeel is van de aanbesteding en in hoeverre deze als opleiding of training zelfstandig herhaald gebruikt kan worden na implementatie als het systeem in productie c.q. in gebruik is.
Vastellen niveau van benodigde training voor gebruik algoritmen en AI-systemen	Laat de aanbieder aangeven op welk niveau de noodzakelijkerwijs te leveren training passend is voor het beoogde doel, waarbij de opdrachtgever vooraf inzicht geeft in het bestaande niveau, zodat een aanbieder concreet kan zijn over eventuele verschillen tussen beiden.

Uitfaseren

Maatregel	Uitleg