Ga naar inhoud

Data van hoog-risico ai moet voldoen aan kwaliteitscriteria

aia-05OntwerpDataverkenning en datapreparatieVerificatie en validatieGovernanceData

Vereiste

AI-systemen met een hoog risico die technieken gebruiken die het trainen van AI-modellen met data omvatten, worden ontwikkeld op basis van datasets voor training, validatie en tests die voldoen aan de kwaliteitscriteria telkens wanneer dergelijke datasets worden gebruikt.

Toelichting

AI-systemen met een hoog risico die data gebruiken voor het trainen van AI-modellen, moeten gebaseerd zijn op datasets die voldoen aan specifieke kwaliteitscriteria. Deze criteria zorgen ervoor dat de data geschikt zijn voor training, validatie en tests, wat de betrouwbaarheid en nauwkeurigheid van het AI-systeem waarborgt.

Deze vereiste houdt in dat de gebruikte datasets onder meer moeten voldoen aan:

  • datasets voor training, validatie en tests worden onderworpen aan praktijken op het gebied van databeheer die stroken met het beoogde doel van het AI-systeem met een hoog risico. Dit heeft in het bijzonder betrekking op relevante ontwerpkeuzes, processen voor dataverzameling, verwerkingsactiviteiten voor datavoorbereiding, het opstellen van aannames met name betrekking tot de informatie die de data moeten meten en vertegenwoordigen, beschikbaarheid, kwantiteit en geschiktheid van de datasets en een beoordeling op mogelijke vooringenomenheid en passende maatregelen om deze vooringenomenheid op te sporen, te voorkomen en te beperken.
  • datasets voor training, validatie en tests zijn relevant, voldoende representatief en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel.
  • Er wordt rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, functionele of gedragsomgeving waarin het AI-systeem wordt gebruikt.

Bronnen

Artikel 10(1) Verordening Artificiële Intelligentie

Wanneer van toepassing?

Risico

Gebruik van laagkwalitatieve of bevooroordeelde datasets kan leiden tot onbetrouwbare en oneerlijke AI-besluitvorming. Onvoldoende kwaliteitsborging van testdata kan leiden tot vertekende resultaten en gebrekkige prestaties van het AI-systeem bij gebruik in de praktijk.

Maatregelen

idMaatregelenRollenLevenscyclusOnderwerpen
Bespreek de vereiste met aanbieder of opdrachtnemer proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder opdrachtnemer ontwerp ontwikkelen publieke-inkoop
Creëer ruimte in het contract om opdrachtgever en aanbieder/opdrachtnemer te laten samenwerken om deze vereiste te realiseren. proceseigenaar behoeftesteller inkoopadviseur aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak het leveren van bewijs voor het voldoen aan de vereiste onderdeel van de beoordeling van een inschrijving proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak de vereiste onderdeel van het programma van eisen proceseigenaar behoeftesteller data-scientist inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak de vereiste onderdeel van de contractovereenkomst behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Maak de vereiste onderdeel van Service Level Agreement proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist data-scientist aanbieder ontwerp ontwikkelen publieke-inkoop
Maak vereisten voor algoritmes en AI-systemen onderdeel van contractvoorwaarden proceseigenaar behoeftesteller inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Neem de vereiste op als een subgunningscriteria bij gunningscriteria beste prijs-kwaliteitverhouding. proceseigenaar behoeftesteller data-scientist ethicus privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes en AI-systemen. proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus architect organisatieverantwoordelijkheden governance
Richt een proces in voor een periodieke evaluatie van de kwaliteit van het algoritme of AI-systeem. proceseigenaar beleidsmedewerker data-engineer data-scientist informatiebeheerder privacy-officer security-officer ethicus inkoopadviseur contractbeheerder organisatieverantwoordelijkheden governance
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst proceseigenaar behoeftesteller data-scientist privacy-officer security-officer inkoopadviseur contractbeheerder aanbestedingsjurist ontwerp ontwikkelen publieke-inkoop
Stel vast dat wetgeving en (lokaal) beleid correct is vertaald naar de uitvoering van het te ondersteunen werkproces en de onderliggende systemen. proceseigenaar beleidsmedewerker informatie-analist jurist ethicus data-engineer data-scientist ontwerp dataverkenning-en-datapreparatie ontwikkelen verificatie-en-validatie implementatie governance transparantie
Voer voorafgaand aan een aanbesteding een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit. proceseigenaar behoeftesteller informatie-analist data-scientist inkoopadviseur contractbeheerder aanbestedingsjurist aanbieder opdrachtnemer architect ontwerp ontwikkelen publieke-inkoop data