Aanbevolen maatregelen

Overzicht van maatregelen waarmee je kunt voldoen aan de vereisten voor de overheid. Deze maatregelen zijn niet verplicht. Andere maatregelen zijn ook mogelijk.

Maatregelen	Rollen	Levenscyclus	Onderwerpen
Aansprakelijkheidsvoorwaarden van een aanbieder worden beoordeeld in de aanbesteding	Beleid en advies; Jurist	Ontwerp; Implementatie	Publieke inkoop
Analyseer de privacy-risico’s en neem maatregelen om deze risico’s laag te houden	Projectleider; Jurist	Ontwerp; Monitoring en beheer; Ontwikkelen	Privacy en gegevensbescherming
Bepaal in een aanbesteding of algoritmes van een aanbieder bepalende invloed hebben in een besluit richting personen	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Transparantie; Publieke inkoop
Bepaal of een algoritme moet worden ontwikkeld of ingekocht	Projectleider	Ontwerp	Publieke inkoop
Bepaal of er genoeg experts beschikbaar zijn	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Bepaal welke documenten voor hoe lang gearchiveerd moeten worden	Projectleider; Ontwikkelaar; Jurist	Ontwerp; Ontwikkelen	Transparantie
Bepaal welke feedbackloops van invloed zijn op het algoritme	Projectleider; Ontwikkelaar	Ontwerp; Ontwikkelen	Bias en non discriminatie; Technische robuustheid en veiligheid
Beperk de omvang van datasets voor energie-efficiëntie	Projectleider; Ontwikkelaar	Dataverkenning en datapreparatie; Ontwikkelen	Data; Duurzaamheid
Bescherm persoonsgegevens door data te anonimiseren, pseudonimiseren of te aggregeren	Ontwikkelaar; Jurist	Dataverkenning en datapreparatie; Ontwikkelen	Privacy en gegevensbescherming
Beschrijf de rollen en verantwoordelijkheden voor het ontwikkelen en gebruiken van algoritmes	Projectleider	Ontwerp; Monitoring en beheer; Implementatie	Governance
Beschrijf de wettelijke grondslag voor de inzet van het algoritme	Jurist	Probleemanalyse	Governance; Transparantie
Beschrijf het doel van het algoritme	Projectleider	Probleemanalyse	Governance; Transparantie
Beschrijf het probleem dat het algoritme moet oplossen	Projectleider	Probleemanalyse	Governance; Transparantie
Beschrijf voor welk doel het algoritme persoonsgegevens gebruikt en waarom dit mag	Projectleider; Jurist	Ontwerp; Dataverkenning en datapreparatie; Verificatie en validatie; Ontwikkelen; Implementatie	Privacy en gegevensbescherming
Beschrijf waarom een algoritme het probleem moet oplossen	Projectleider	Probleemanalyse	Governance; Menselijke controle
Beschrijf welke data gebruikt wordt voor de beoogde toepassing	Beleid en advies; Ontwikkelaar	Ontwerp; Dataverkenning en datapreparatie	Data
Beschrijf welke techniek gebruikt wordt voor de beoogde toepassing	Ontwikkelaar	Ontwerp	Technische robuustheid en veiligheid
Bespreek de vereisten die gelden voor een verantwoorde inzet van algoritmes met aanbieders	Projectleider	Ontwerp; Ontwikkelen	Publieke inkoop
Beveilig de software	Projectleider; Beleid en advies; Ontwikkelaar	Monitoring en beheer; Dataverkenning en datapreparatie; Ontwikkelen	Technische robuustheid en veiligheid
Bij uitfaseren en doorontwikkeling wordt correct omgegaan met data en modelinformatie	Ontwikkelaar	Ontwerp; Uitfaseren	Transparantie; Technische robuustheid en veiligheid; Privacy en gegevensbescherming
Controleer de auteursrechten van eigen data	Jurist	Ontwerp; Dataverkenning en datapreparatie	Data
Controleer de data op manipulatie en ongewenste afhankelijkheden	Beleid en advies; Ontwikkelaar	Monitoring en beheer; Dataverkenning en datapreparatie	Data; Technische robuustheid en veiligheid
Controleer de datakwaliteit	Ontwikkelaar	Dataverkenning en datapreparatie	Data
Controleer de input van gebruikers op misleiding	Ontwikkelaar	Monitoring en beheer; Dataverkenning en datapreparatie	Data; Technische robuustheid en veiligheid
Controleer en verbeter regelmatig de kwaliteit van het algoritme	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden; Monitoring en beheer	Governance; Menselijke controle
Controleer regelmatig of een algoritme voldoende weerbaar is tegen bekende aanvallen	Ontwikkelaar	Monitoring en beheer; Verificatie en validatie; Ontwikkelen	Technische robuustheid en veiligheid
Controleer regelmatig of het algoritme voldoet aan alle wetten en regels en het eigen beleid	Jurist	Monitoring en beheer; Verificatie en validatie	Governance; Transparantie
Controleer regelmatig of het algoritme werkt zoals het bedoeld is	Projectleider; Ontwikkelaar	Monitoring en beheer; Verificatie en validatie; Ontwikkelen	Bias en non discriminatie; Technische robuustheid en veiligheid
Creëer ruimte om met een aanbieder samen te gaan werken om specifieke vereisten te realiseren	Projectleider	Ontwerp; Ontwikkelen	Publieke inkoop
Documenteer en beargumenteer de keuze voor gebruikte modellen en parameters	Ontwikkelaar	Ontwikkelen; Implementatie	Technische robuustheid en veiligheid
Doe aselecte steekproeven om algoritmes met 'risicogestuurde selectie’ te controleren	Ontwikkelaar	Monitoring en beheer; Dataverkenning en datapreparatie; Implementatie	Bias en non discriminatie; Technische robuustheid en veiligheid
Evalueer de betrouwbaarheid van het algoritme	Ontwikkelaar	Monitoring en beheer; Verificatie en validatie; Ontwikkelen	Technische robuustheid en veiligheid
Evalueer de nauwkeurigheid van het algoritme	Projectleider; Ontwikkelaar	Monitoring en beheer; Verificatie en validatie; Ontwikkelen	Bias en non discriminatie; Technische robuustheid en veiligheid
Gebruik bij machine learning technieken gescheiden train-, test- en validatiedata en houd rekening met underfitting en overfitting	Ontwikkelaar	Dataverkenning en datapreparatie; Ontwikkelen	Bias en non discriminatie; Data; Technische robuustheid en veiligheid
Gebruik duurzame datacenters	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp; Monitoring en beheer; Dataverkenning en datapreparatie; Ontwikkelen; Implementatie	Duurzaamheid
Gebruik een algoritme volwassenheidsmodel om te weten waar de organisatie staat	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Gebruik een passende licentie bij publicatie of gebruik van (open) data	Ontwikkelaar; Jurist	Monitoring en beheer; Dataverkenning en datapreparatie; Ontwikkelen	Data
Geef data zoals persoonsgegevens een bewaartermijn met een vernietigingsprocedure	Projectleider; Jurist	Monitoring en beheer; Ontwikkelen	Technische robuustheid en veiligheid; Privacy en gegevensbescherming
Identificeer en implementeer technische interventies die robuustheid vergroten	Ontwikkelaar	Ontwerp; Ontwikkelen	Technische robuustheid en veiligheid
Inventariseer de algoritmes die binnen jouw organisatie worden gebruikt en houd dit overzicht actueel	Beleid en advies	Organisatieverantwoordelijkheden; Monitoring en beheer	Governance; Transparantie
Inventariseer welke grondrechten het algoritme kan schenden en maak een belangenafweging	Projectleider; Beleid en advies	Probleemanalyse; Ontwerp; Monitoring en beheer; Verificatie en validatie	Fundamentele rechten
Kies energiezuinige programmeermethoden	Ontwikkelaar	Ontwikkelen	Duurzaamheid
Koop duurzaam algoritmes in	Projectleider; Beleid en advies	Ontwerp	Publieke inkoop; Duurzaamheid
Laat aanbieder(s) bewijs leveren dat de door hen ontwikkelde algoritmes geen inbreuk maken op de auteursrechten van derden met de trainingsdata en de output	Projectleider; Beleid en advies	Dataverkenning en datapreparatie; Verificatie en validatie	Data; Publieke inkoop
Laat de aanbieder aangeven welke mate van opleiding en ondersteuning bij de implementatie nodig is om de beoogde algoritmes verantwoord te gebruiken	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Publieke inkoop
Leg vast wat de impact van het algoritme is als het niet werkt zoals beoogd	Projectleider; Ontwikkelaar	Probleemanalyse; Ontwerp	Fundamentele rechten; Technische robuustheid en veiligheid
Maak (contractuele) afspraken over data en artefacten met een aanbieder	Jurist	Ontwerp; Implementatie	Publieke inkoop
Maak afspraken over het beheer van gebruikers	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance; Technische robuustheid en veiligheid
Maak afspraken over het beheer van wachtwoorden	Projectleider; Ontwikkelaar	Organisatieverantwoordelijkheden	Governance; Technische robuustheid en veiligheid
Maak afspraken over het wijzigen van de code	Projectleider; Ontwikkelaar	Organisatieverantwoordelijkheden	Governance; Technische robuustheid en veiligheid
Maak back-ups van algoritmes	Beleid en advies; Ontwikkelaar	Monitoring en beheer; Ontwikkelen	Technische robuustheid en veiligheid
Maak een Project Startarchitectuur (PSA) voor de ontwikkeling of inkoop van algoritmes	Projectleider; Beleid en advies	Ontwerp; Verificatie en validatie; Ontwikkelen; Implementatie	Technische robuustheid en veiligheid
Maak een evaluatieplan voor tijdens het gebruik van het algoritme	Projectleider	Monitoring en beheer	Technische robuustheid en veiligheid
Maak een lijst van de meest kwetsbare groepen en bescherm hen extra	Beleid en advies	Ontwerp	Fundamentele rechten
Maak een noodplan voor beveiligingsincidenten	Projectleider; Beleid en advies; Jurist	Organisatieverantwoordelijkheden; Monitoring en beheer	Governance; Technische robuustheid en veiligheid
Maak een noodplan voor het stoppen van het algoritme	Projectleider; Ontwikkelaar	Ontwikkelen; Implementatie	Governance; Menselijke controle; Technische robuustheid en veiligheid
Maak een openbaar besluit over de inzet van het algoritme	Projectleider	Organisatieverantwoordelijkheden; Implementatie	Governance; Transparantie
Maak een plan voor het omgaan met risico’s	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Maak gebruik van een algoritme dat bronvermelding kan genereren bij de output	Projectleider; Beleid en advies	Ontwerp; Verificatie en validatie	Transparantie; Publieke inkoop
Maak het leveren van bewijs voor het voldoen aan de vereisten voor algoritmes onderdeel van de beoordeling van een inschrijving	Projectleider; Beleid en advies	Ontwerp	Publieke inkoop
Maak het opstellen van een verwerkersovereenkomst onderdeel van de aanbesteding als persoonsgegevens worden verwerkt	Projectleider; Beleid en advies	Ontwerp; Monitoring en beheer	Privacy en gegevensbescherming; Publieke inkoop
Maak logbestanden waarin staat wie wanneer toegang had tot de data en de code	Ontwikkelaar	Monitoring en beheer; Ontwikkelen	Technische robuustheid en veiligheid
Maak vereisten onderdeel van (sub)gunningscriteria bij een aanbesteding	Ontwikkelaar	Ontwerp	Publieke inkoop
Maak vereisten onderdeel van het programma van eisen bij een aanbesteding	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Publieke inkoop
Maak vereisten voor algoritmes onderdeel van algemene inkoopvoorwaarden en de contractovereenkomst	Projectleider; Beleid en advies	Ontwerp	Transparantie; Publieke inkoop
Maak vereisten voor algoritmes onderdeel van de Service Level Agreement	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Publieke inkoop
Maak waardevolle data vindbaar, toegankelijk, interoperabel en herbruikbaar (FAIR) binnen en buiten de eigen organisatie	Ontwikkelaar	Dataverkenning en datapreparatie	Data
Meten, monitoren en rapporteren van milieu-impact van algoritmes	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp; Monitoring en beheer	Duurzaamheid
Monitor regelmatig op veranderingen in de data. Bij veranderingen evalueer je de prestaties en output van het algoritme.	Ontwikkelaar	Monitoring en beheer	Data; Technische robuustheid en veiligheid
Neem het kunnen uitvoeren van een audit over de vereiste op in contractvoorwaarden en de contractovereenkomst	Projectleider; Beleid en advies	Ontwerp	Publieke inkoop
Neem technische interventies op in de gebruikersinterface om verkeerd gebruik te voorkomen	Projectleider; Beleid en advies; Ontwikkelaar	Ontwikkelen; Implementatie	Menselijke controle; Technische robuustheid en veiligheid
Ontwerp algoritmes zo eenvoudig mogelijk	Ontwikkelaar	Ontwerp; Ontwikkelen	Duurzaamheid
Ontwerp en ontwikkel het algoritme volgens de principes van ‘security by design’	Projectleider; Ontwikkelaar	Ontwikkelen	Technische robuustheid en veiligheid
Ontwerp en train het algoritme om bestand te zijn tegen (cyber)aanvallen	Beleid en advies; Ontwikkelaar	Ontwikkelen	Technische robuustheid en veiligheid
Optimaliseer AI-trainingsprocessen voor energie-efficiëntie	Ontwikkelaar	Ontwikkelen	Duurzaamheid
Overleg regelmatig met belanghebbenden	Projectleider	Probleemanalyse; Ontwerp; Implementatie	Governance; Fundamentele rechten
Pas uitlegbaarheidstechnieken toe en evalueer en valideer deze	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Transparantie
Pas vastgestelde interne beleidskaders toe en maak aantoonbaar dat deze zijn nageleefd bij het ontwikkelen, inkopen en gebruiken van algoritmes	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance; Transparantie
Publiceer impactvolle algoritmes en hoog-risico AI-systemen in het Algoritmeregister	Projectleider; Beleid en advies	Monitoring en beheer; Implementatie	Transparantie
Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Richt bij besluitvorming betekenisvolle menselijke tussenkomst in	Projectleider; Beleid en advies	Ontwerp; Monitoring en beheer; Implementatie	Governance; Menselijke controle
Richt een algoritmegovernance in op basis van het Three Lines-model	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar of beroep kunnen indienen over het gebruik van het algoritme en monitor dit proces	Projectleider; Ontwikkelaar	Monitoring en beheer; Implementatie	Governance
Richt vaste beslismomenten en controlepunten in in de algoritmelevenscyclus	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Sluit algoritmegovernance aan op bestaande governancestructuren binnen de organisatie	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Spreek af hoe de organisatie omgaat met privacy-verzoeken	Projectleider; Beleid en advies; Jurist	Organisatieverantwoordelijkheden; Ontwikkelen	Governance; Data; Privacy en gegevensbescherming
Stel beleid op voor een verantwoorde inzet van algoritmes binnen de organisatie	Beleid en advies	Organisatieverantwoordelijkheden	Governance; Transparantie
Stel een multidisciplinair team samen bij het ontwikkelen of inkopen van algoritmes	Projectleider; Beleid en advies	Ontwerp	Publieke inkoop
Stel een plan op voor continue monitoring	Projectleider	Monitoring en beheer	Technische robuustheid en veiligheid
Stel een protocol vast voor de situatie dat er (een vermoeden van) discriminatie door een algoritme is geconstateerd en pas dit wanneer nodig toe	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden; Implementatie	Bias en non discriminatie
Stel een werkinstructie op voor gebruikers	Projectleider; Beleid en advies	Implementatie	Governance; Menselijke controle; Transparantie
Stel vast in welke risicogroep het algoritme valt en bepaal vervolgens welke vereisten van toepassing zijn.	Projectleider; Beleid en advies	Ontwerp; Ontwikkelen	Governance; Publieke inkoop
Stel vast welke betrokkenen geïnformeerd moeten worden en welke informatie zij nodig hebben	Projectleider; Beleid en advies	Ontwerp; Ontwikkelen	Transparantie
Taken en verantwoordelijkheden zijn toebedeeld in de algoritmegovernance	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance
Toets en analyseer of de inputvariabelen of risicoindicatoren geschikt zijn voor het beoogde algoritme	Beleid en advies; Ontwikkelaar	Dataverkenning en datapreparatie; Verificatie en validatie	Bias en non discriminatie; Data; Privacy en gegevensbescherming
Toets het algoritme op bias en voer een rechtvaardigingstoets uit	Projectleider; Beleid en advies; Ontwikkelaar; Jurist	Ontwerp; Monitoring en beheer; Verificatie en validatie	Bias en non discriminatie
Vermeld het gebruik van persoonsgegevens in een privacyverklaring	Projectleider; Jurist	Implementatie	Transparantie; Privacy en gegevensbescherming
Vermeld het gebruik van persoonsgegevens in het verwerkingsregister	Projectleider; Jurist	Implementatie	Transparantie; Privacy en gegevensbescherming
Voer een risico-analyse met de aanbieder uit op het gebied van informatiebeveiliging bij een uitbestedingstraject	Projectleider; Beleid en advies	Ontwerp	Technische robuustheid en veiligheid; Publieke inkoop
Voer voorafgaand aan een project een data beschikbaarheid, kwaliteit- en toegankelijkheidsanalayse uit	Projectleider; Beleid en advies	Ontwerp	Data; Publieke inkoop
Voorkom kwetsbaarheden die geïntroduceerd worden in de supply-chain van het algoritme	Beleid en advies; Ontwikkelaar; Jurist	Ontwerp	Data; Technische robuustheid en veiligheid; Publieke inkoop
Vul technische documentatie van aanbieder aan met relevante informatie vanuit de gebruiksverantwoordelijke	Projectleider; Beleid en advies; Ontwikkelaar	Ontwerp	Transparantie; Publieke inkoop
Zorg dat (gevoelige) informatie niet kan lekken op basis van de output van het algoritme	Ontwikkelaar	Monitoring en beheer; Ontwikkelen; Implementatie	Technische robuustheid en veiligheid
Zorg dat je controle of eigenaarschap hebt over de data	Projectleider	Dataverkenning en datapreparatie	Data; Publieke inkoop
Zorg voor bewustwording en voldoende opleidingen over de risico's en kansen van algoritmes en AI	Beleid en advies	Organisatieverantwoordelijkheden	Governance
Zorg voor een representatieve testomgeving	Projectleider; Ontwikkelaar	Verificatie en validatie	Technische robuustheid en veiligheid
Zorg voor politiek-bestuurlijk bewustzijn, betrokkenheid, en verantwoordelijkheid	Projectleider; Beleid en advies	Organisatieverantwoordelijkheden	Governance; Transparantie
Zorg voor reproduceerbaarheid van de uitkomsten	Ontwikkelaar	Ontwikkelen	Transparantie; Technische robuustheid en veiligheid

Alle maatregelen zijn adviezen

De maatregelen zijn niet verplicht. Het zijn adviezen uit:

Toetsingskader Algoritmes, Algemene Rekenkamer
Onderzoekskader algoritmes, Auditdienst Rijk
nationale en internationale standaarden (NEN, JTC21 en ISO)
andere relevante bronnen
onze werkgroepen

Benieuwd hoe de maatregelen samenhangen met het Onderzoekskader van de Auditdienst Rijk en het Toetsingskader van de Algemene Rekenkamer?

Bekijk de zogenaamde 'mapping' tussen de maatregelen uit het Algoritmekader, het Toetsingskader Algoritmes en het Onderzoekskader algoritmes. Hierin zie je waar elke maatregel uit deze kaders terugkomt in het Algoritmekader. Dit staat ook altijd aangegeven in de bronvermelding van de betreffende maatregel.

Download mapping

Voorbeeld

Onderzoek het ontwikkelde algoritme op onbewuste vooringenomenheid (discriminatie) door middel van een bias-analyse.

Deze maatregel helpt om te voldoen aan de vereiste om niet te discrimineren. Maar deze maatregel is niet verplicht. Je organisatie mag ook eigen maatregelen nemen. Zolang je uiteindelijk maar voldoet aan de vereiste.

Aantal maatregelen verschilt per situatie

Welke maatregelen handig zijn in jouw situatie, hangt af van:

de fase in de levenscyclus van je project
de vereisten waar jouw organisatie aan moet voldoen
jouw rol in de organisatie

Tip

Met één maatregel voldoe je soms aan meerdere vereisten.

Help ons deze pagina te verbeteren

Deel je idee, suggestie of opmerking via GitHub of mail ons via algoritmes@minbzk.nl.