Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig

Levenscyclus:Verificatie en validatieOntwikkelenOntwerp

Rollen:Beleid en adviesProjectleider

Onderwerp:Fundamentele rechtenMenselijke controle

Vereiste

Organisaties die algoritmes gebruiken voor publieke taken nemen besluiten zorgvuldig.

Toelichting

Het zorgvuldigheidsvereiste eist dat een besluit met de nodige zorgvuldigheid wordt voorbereid en juist wordt genomen. Dit vraagt onder meer om een zorgvuldig onderzoek naar informatie, feiten, een zorgvuldige beslissingsprocedure en een deugdelijke besluitvorming.

Dit betekent dat bij de ontwikkeling en gebruik van algoritmes informatie moet worden vastgelegd over het algoritme. Hierbij kan worden gedacht aan:

  • Dat het doel en eventuele subdoelen van het algoritme of AI-systeem helder zijn gedefinieerd, ook in relatie tot het maatschappelijke resultaat (outcome).
  • Een bewuste afweging maken en vaststellen of het algoritme het juiste middel is om het probleem op doelmatige en doeltreffende wijze op te lossen.
  • Dat de werking van het algoritme is onderzocht en is vastgesteld dat dit passend is om te gebruiken in een besluitvormingsproces.
  • Dat de output van het algoritme kritisch geëvalueerd wordt door natuurlijke personen en, zo nodig, niet bij de besluitvorming betrokken wordt.

Bronnen

Van toepassing op

Soort toepassing:Ai systeemAi systeem voor algemene doeleindenAi model voor algemene doeleinden

Risicogroep:Verboden aiHoog risico ai systeemGeen hoog risico ai systeem

Rol (AI-verordening):GebruiksverantwoordelijkeDistributeurImporteurAanbieder

Transparantieverplichting:TransparantieverplichtingGeen transparantieverplichting

Systeemrisico:SysteemrisicoGeen systeemrisico

Risico

De werking van het algoritme sluit niet of onvoldoende aan bij de juridische en ethische grenzen van de te ondersteunen wettelijke taak.

Hierdoor kunnen ongewenste gevolgen ontstaan zoals een onjuist of onzorgvuldig genomen besluit. Het gevolg daarvan is dat burgers tegen het besluit bezwaar en/of beroep in zullen moeten stellen om hun rechten te effectueren.

Maatregelen