Op 1 augustus 2024 is de Europese AI Act van kracht gegaan, die stapsgewijs in werking zal treden. Zo gaat het verbod op AI met een onacceptabel risico al na 6 maanden in. De verordening stelt regels voor autonoom handelende computersystemen en algoritmes die beslissingen nemen, content genereren of mensen assisteren. De AI Act beschermt zo belangrijke grondrechten en is bedoeld om (binnen Europa) met vertrouwen gebruik te maken van AI-systemen
De invoering van deze wet heeft veel vragen en onzekerheden meegebracht, mede omdat de AI Act niet alle aspecten volledig behandelt of in detail beschrijft. Onze ervaring leert dat er vooral behoefte is aan concrete en praktische informatie en ondersteuning bij het toepassen van de AI Act.
In onze eerste blogserie richten we ons daarom op het wettelijk en verantwoord inkopen van AI. Deze reeks is speciaal voor inkoopprofessionals, maar is ook relevant voor anderen die betrokken zijn bij AI-inkoop.
De verantwoordelijke inkoopfunctionaris dient een hele lijst met vragen en controles af te werken, die we stap-voor-stap in de blogs zullen behandelen.
De eerste blog gaat in op het vaststellen of er sprake is van een AI toepassing in het inkoopproces en de classificatie van risico’s in AI. Daarbij komen de volgende onderwerpen aan bod:
Hoewel het misschien vanzelfsprekend lijkt, is de eerste stap het vaststellen of de toepassing die je wilt inkopen binnen de definitie van een AI-toepassing valt, zoals bepaald door de AI-verordening. Gezien het grote aantal gebruikte termen, kan het lastig zijn om te bepalen of een AI toepassing of -systeem daadwerkelijk onder de verordening valt.
De AI Act zegt hierover het volgende (AIA Art. 3.1):
“AI-systeem”: een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen.
Deze volzin zal ongetwijfeld meerdere keren moeten worden gelezen, om de gehanteerde definitie goed te doorgronden. Anders dan eerdere definities vanuit de Europese High Level Group (HLEG), die uitgingen van ‘een zekere mate van intelligentie’, gaat het in de uiteindelijke bepaling vooral om ‘een zekere mate van autonomie’. In het verlengde hiervan duiden algoritmes niet automatisch op een AI-systeem; er zijn talloze geavanceerde algoritmes die gewoon gebaseerd zijn op de bekende conditionele algoritmes (de ‘if…then…else…’ instructies). Bij AI gaat het om geavanceerde, zelflerende algoritmes, die van gegevens leren om dit vervolgens toe te passen.
Als het om een AI-toepassing gaat, is het advies om (je) eerst de vraag te stellen waarom jouw organisatie van AI gebruik wil maken. Sommige automatiseringsvraagstukken zijn namelijk prima op te lossen met behulp van Business Intelligence tools of door klassieke beeldherkenning tools die gebruik maken van ‘Feature matching’ technieken. Is het echt noodzakelijk om AI in te zetten of geeft het een grote toegevoegde waarde? Neem bij deze afweging mee wat de impact is van het toepassen, ook vanuit een duurzaamheidsgedachte.
De AI-verordening stelt specifieke regels voor het ontwikkelen, op de markt brengen en gebruiken van AI-systemen. Bij het gebruik van generatieve AI-modellen (bijvoorbeeld de LLM-modellen van OpenAI) zijn vanuit juridische perspectief de nodige uitdagingen verbonden. Deze uitdagingen liggen primair op het terrein van de ontwikkelaar van die generatieve AI-modellen en zijn niet (volledig) te mitigeren door de gebruiker van het generatieve AI-model. De verantwoordelijkheid voor het naleven van dergelijke verplichtingen bij het trainen van het AI-model rust met name bij de ontwikkelaar van het AI-model. Als de ontwikkelaar deze verplichtingen echter niet naleeft, of daarover geen zekerheid wil geven, leidt dat er echter toe dat aan het AI-model enkele inherente juridische uitdagingen kleven, die door de inkopende organisatie (gebruiker) niet volledig kunnen worden weggenomen. Ons advies is om in die gevallen van de leverancier de garantie te eisen dat er geen inbreuk wordt gemaakt op het privacy recht of auteursrechten van derden. Op deze kan men zich in ieder geval ervan verzekeren dat de gevolgen niet voor rekening van uw organisatie komen.
De AI Act gaat uit van een risico-gebaseerde aanpak en kent verschillende risiconiveaus. Je dient niet alleen op de hoogte te zijn van deze niveaus, maar ook een probaat en concreet risicomanagementsysteem in te richten. Hieronder zie je de verschillende niveaus, met de opmerking dat er ook nog een zogenaamd ‘Regulatory sandbox’ bestaat, een afgescheiden omgeving waarin AI-systemen ontwikkeld en getest kunnen worden. Voor de risiconiveaus geldt: Hoe hoger het risico (voor gezondheid, veiligheid, grondrechten of milieu), des te meer en strengere eisen van toepassing zijn.
Het bepalen van het risiconiveau kent een formeel proces dat ondersteunt bij het toewijzen van het juiste risiconiveau. AI-systemen die verboden zijn, worden beschreven in Artikel 5 (‘Verboden AI-praktijken’) van de AI Act. Voor het vaststellen van hoog-risico AI-systemen wordt gebruikgemaakt van een vierstappentoets, uitgevoerd via een beslisboom die begint met een controle op basis van een wettelijke lijst (Annex I). De beslisboom biedt ook richtlijnen om vast te stellen dat jouw AI-systeem niet onder de hoog-risicocategorie valt, als het uitsluitend voorbereidende taken uitvoert of menselijke resultaten verfijnt.
Aan geïnteresseerden stellen wij de genoemde beslisboom en eventueel best practices voor risicoclassificatie beschikbaar. Stuur hiervoor een bericht naar blog@epblc.nl.
Om vervolgens vast te kunnen stellen welke verplichtingen er specifiek gelden voor jouw organisatie en leveranciers, gaat de AI Act uit van een aantal rollen in de waardeketen: Aanbieder, Distributeur, Importeur, Gemachtigde, Gebruikersverantwoordelijke en Betrokkene/Getroffen persoon. Daarbij is het heel goed mogelijk dat een partij meerdere rollen vervult en derhalve aan de verplichtingen van die rollen dient te voldoen.
In het vervolg van deze blogserie gaan we in op de verschillende verplichtingen die van toepassing zijn en op welke wijze je hieraan kunt/moet voldoen.
Humphrey is partner bij ePublic Solutions en een bedreven, CAICO® gecertifieerd, adviseur en aanjager van innovatieve sleuteltechnologieën zoals AI. Hij staat bekend als buitengewoon pleitbezorger van transparante en verantwoorde AI, maar ook als AI-innovator. Daarbij hanteert hij een holistische aanpak, waarin het wettelijk en regulerend kader, intellectueel eigendom en privaatrechtelijk kader in samenhang wordt toegepast. Zijn focus is praktijkgericht: vertaal de vele regels en ethische vragen naar concrete plannen om AI legaal, ethisch en robuust te laten werken, maar experimenteer (en leer) tegelijkertijd met alle betrokken personen in een multidisciplinair team.
Humphrey is onder andere actief binnen de Nederlandse AI Coalitie (NLAIC) en wel in de werkgroep Mensgerichte AI. Hij heeft de afgelopen jaren een bijdrage mogen leveren aan de totstandkoming van de AI Act en houdt zich nu bezig met (advisering over) de implementatie daarvan. Momenteel werkt hij binnen het overheidsdomein aan het vertalen van de AI vereisten naar concrete maatregelen en praktisch ondersteunend materiaal daarvoor zoals handreikingen en best practices.
