Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens

Levenscyclus:Monitoring en beheerOntwikkelen

Rollen:OntwikkelaarProjectleider

Onderwerp:Technische robuustheid en veiligheid

Vereiste

Hoog-risico-AI-systemen loggen automatisch bepaalde gegevens.

Toelichting

AI-systemen met een hoog risico zijn ontworpen met functionaliteiten die gebeurtenissen gedurende hun levenscyclus automatisch registreren. Dit wordt vaak aangeduid als "logs".

Deze logs bieden een traceerbaarheidsmechanisme waarmee gebruiksverantwoordelijken en autoriteiten incidenten en fouten kunnen analyseren, naleving kunnen controleren en mogelijke risico's kunnen identificeren en aanpakken.

Het doel van deze registratie is om de transparantie en verantwoordingsplicht van AI-systemen te vergroten, waardoor het beheer van risico's en incidenten verbetert. Voor AI-systemen met een hoog-risico voorziet de loggingcapaciteit ten minste in:

  1. de registratie van de duur van elk gebruik van het systeem;
  2. de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;
  3. de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;
  4. de identificatie van natuurlijke personen die betrokken zijn bij de verificatie van de resultaten. Specifiek voor gebruiksverantwoordelijken

Voor AI-systemen die door bestuursorganen worden gebruikt of AI-systmen die persoonsgegevens verwerken leveren de BIO en AVG vergelijkbare verplichingen op die ook van toepassing zijn op AI-systemen die niet gezien worden als een AI-systeem met hoog risico. Daarbij komen nog verplichtingen om de logs doorlopend of periodiek te monitoren op incidenten.

Bronnen

Van toepassing op

Soort toepassing:Ai systeemAi systeem voor algemene doeleinden

Risicogroep:Hoog risico ai systeem

Rol (AI-verordening):Aanbieder

Transparantieverplichting:TransparantieverplichtingGeen transparantieverplichting

Risico

Ontbreken van automatische logregistratie kan leiden tot een gebrek aan transparantie en traceerbaarheid van het AI-systeem, wat het vermogen om verantwoordelijkheid te nemen en eventuele problemen aan te pakken belemmert.

Maatregelen