Fase 4, ontwikkelen

In de ontwikkelfase bouw je het algoritme of AI-systeem samen met een multidisciplinair team. Gaat het om rekenregels, dan implementeer je deze in een ontwikkelomgeving of systeem. Gaat het om een AI-systeem, dan train je het model met de juiste datasets.

Taken ontwikkelfase

De belangrijkste taken in deze fase zijn:

ontwikkelen van het algoritme of AI-systeem, inclusief modellen trainen met goed voorbereide data
documenteren van technische informatie en belangrijke keuzes
controleren van de uitkomst en werking van het algoritme of AI-systeem
beveiligen van het informatiesysteem
maatregelen nemen voor bijvoorbeeld het verantwoord ontsluiten van output naar gebruikers, het automatisch genereren van logs en het inrichten van service- en incidentmanagementprocedures

Rollen en verantwoordelijkheden

Alleen een multidisciplinair team kan algoritmes en AI-systemen technisch correct ontwikkelen en de beperkingen ervan begrijpen. Zo'n team bestaat uit medewerkers in verschillende rollen, zoals een:

proceseigenaar
domeinspecialist
beleidsmedewerker
data-scientist
data-engineer
privacy-jurist
ethicus

Hoe goed een algoritme of AI-systeem werkt, leid je vooral af uit de rekenregels van het algoritme en de inputvariabelen van het machinelearning-model. Goede rekenregels en inputvariabelen zijn:

juridisch toegestaan
ethisch wenselijk
technisch gezien voldoende significant
zinvol voor gebruikers

Het multidisciplinaire team beoordeelt dit en stuurt steeds bij. Zo ontwikkel je samen een verantwoord algoritme of AI-systeem dat past bij het afgesproken doel.

Vereisten ontwikkelfase

Vereisten	Wetgeving
AI-modellen voor algemene doeleinden met systeemrisico’s zijn voldoende beveiligd tegen cyberaanvallen	AI-verordening
AI-modellen voor algemene doeleinden zijn voorzien van voldoende technische documentatie en informatie	AI-verordening
AI-systemen worden zo ontworpen en gebruikt, dat mensen begrijpen wanneer zij met een AI-systeem communiceren en welke content gemaakt is door een AI-systeem	AI-verordening
AI-testomgevingen die persoonsgegevens verwerken, voldoen aan strenge voorwaarden	AI-verordening
Algoritmes discrimineren niet	Grondwet
Betrokkenen kunnen een beroep doen op hun privacyrechten	Algemene Verordening Gegevensbescherming
Er is beleid opgesteld ter naleving van auteursrechten en naburige rechten door aanbieders van AI-modellen voor algemene doeleinden	AI-verordening
Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens	AI-verordening
Hoog-risico-AI-systemen staan onder menselijk toezicht	AI-verordening
Hoog-risico-AI-systemen zijn getest	AI-verordening
Hoog-risico-AI-systemen zijn op een transparante manier ontwikkeld en ontworpen	AI-verordening
Hoog-risico-AI-systemen zijn voldoende nauwkeurig, robuust en cyberveilig	AI-verordening
Hoog-risico-AI-systemen zijn voorzien van voldoende technische documentatie	AI-verordening
Informatie over algoritmes wordt in goede, geordende en toegankelijke staat gebracht, bewaard en vernietigd wanneer nodig	Archiefwet
Logs voor hoog-risico-AI-systemen worden bewaard door de gebruiksverantwoordelijke	AI-verordening
Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig	Algemene wet bestuursrecht
Persoonsgegevens worden zo min mogelijk verwerkt	Algemene Verordening Gegevensbescherming

Aanbevolen maatregelen ontwikkelfase

Maatregelen
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden
Bepaal welke documenten voor hoe lang gearchiveerd moeten worden
Bepaal welke feedbackloops van invloed zijn op het algoritme
Beperk de omvang van datasets voor energie-efficiëntie
Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag
Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders
Beveilig de software
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen
Controleer regelmatig of het algoritme werkt zoals het bedoeld is
Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren
Documenteer en beargumenteer de keuze voor gebruikte modellen en parameters
Evalueer de betrouwbaarheid van het algoritme
Evalueer de nauwkeurigheid van het algoritme
Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houd rekening met underfitting en overfitting
Gebruik duurzame datacenters
Gebruik een passende licentie bij publicatie of gebruik van (open) data
Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure
Identificeer en implementeer technische interventies die robuustheid vergroten
Kies energiezuinige programmeermethoden
Maak back-ups van algoritmes
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes
Maak een noodplan voor het stoppen van het algoritme
Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code
Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen
Ontwerp algoritmes zo eenvoudig mogelijk
Ontwerp en ontwikkel het algoritme volgens de principes van ‘security by design’
Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen
Optimaliseer AI-trainingsprocessen voor energie-efficiëntie
Spreek af hoe de organisatie omgaat met privacy-verzoeken
Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.
Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben
Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme
Zorg voor reproduceerbaarheid van de uitkomsten

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.