Langt de fleste AI-systemer går helt fri i EU's nye reguleringskompleks

Foto : ilixe48, bigstock

Langt de fleste AI-systemer går helt fri i EU's nye reguleringskompleks

Min største bekymring er, at man lader være med at bruge AI, siger Margrethe Vestager.
Brødtekst

EU-kommissionen præsenterede onsdag det længe ventede forslag til, hvordan AI skal udnytte og tøjles i Europa. Strategien er klar. Kun de absolut mest risikable måder at anvende AI på skal under streng regulering - og resten går fri.

»Vores rammeværk kigger ikke på AI i sig selv, det kigger på hvad AI bruges til,« forklarede kommissionens næstformand Margrethe Vestager på det pressemøde, hvor teksten blev præsenteret. 

»Den grundlæggende logik er, at jo større risiko AI udgør, jo strengere regler.«

De forskellige regler, der rammer forskellige applikationer, kan illustreres i en pyramide. I bunden findes alle de systemer, som ikke vil blive reguleret på andre måder, end de gør i forvejen. Og det er altså langt størstedelen af de applikationer, hvor AI anvendes i dag, vurderer Jesper Løffler Nielsen, der er advokat ved Focus Advokater og ph.d. i it-ret. 

»Jeg synes, EU med dette forslag har lagt sig på den erhvervsvenlige del af skalaen,« siger han. 

»Hvis du er så uheldig at lave noget, der falder i kategorien high risk, så er der et kæmpe system, der ruller sig ud. Men de fleste af dem, der laver AI i dag - også til det offentlige - kan læne sig tilbage. Det er selvfølgelig forudsat, at man allerede har styr på sine forpligtelser efter gældende regler såsom GDPR.« 

Vestager: Værst, hvis man lader være med at bruge AI

EU-kommissær for det indre marked, Thierry Breton, understregede da også på pressemødet, at et klart regelsæt skulle være med til at tiltrække og holde på AI-virksomheder. 

»Vi vil være det første kontinent, der kan komme med retningslinjer, hvor du kan se, hvad du skal gøre og hvordan. Så hvis du laver AI, så kom til kontinentet, hvor du også har de største mængder industrielle data, du kan få,« siger han. 

Netop den klarhed over, hvad man må og ikke må, håber Margrethe Vestager vil sikre, at folk ikke skyr AI pga. juridisk usikkerhed og frygten for, at en stor investering i teknologien bliver spildt pga. en lovændring om seks måneder. 

»Min største bekymring er, at man lader være med at bruge AI. Det ville være en skam.«

pyramiden
Illustration: Teknologiens Mediehus

I pyramidens top

Det endelige lovforslag fra kommissionen deler groft sagt systemerne i fire kategorier. I pyramidens top findes de få systemer, som ifølge forslaget skal være helt forbudt. Der må her siges at være tale om ekstreme tilfælde - f.eks. manipulation af adfærd, som leder til fysisk eller psykisk skade samt manipulation, der udnytter folks mentale handicap. 

Dertil kommer forbud mod social scoring-systemer, som kendes fra Kina. 

Det mest aktuelle forbud i den endelig tekst kommer i form af et forbud mod at politiet bruger live ansigtsgenkendelse til masseovervågning - medmindre nogle særlige betingelser som national lov, dommerkendelse og konkret mistanke er til stede. 

»Undtagelsen skal være specifik og afgrænset som f.eks. for at hjælpe politiet med at finde et barn, der er forsvundet,« siger Margrethe Vestager. 

Tungen lige i munden

Ansigtsgenkendelse i øvrigt - f.eks. hvis det ikke er i realtid eller ikke bruges af politiet - er ikke ulovligt. Men det er til gengæld den første use case i kategorien high risk. Og det er altså i denne kategori at størsteparten af lovens 85 artikler udspiller sig. 

I denne kategori hører først og fremmest alle AI-systemer, som udgør en sikkerhedsforanstaltning i et produkt. Dertil kommer AI i alle produkter, der som følge af andre EU-regler allerede skal undergå en ekstern evaluering - som f.eks. AI-systemer i medico-instrumenter, legetøj, elevatorer med mere.

Dertil kommer en liste over områder, som kommissionen betragter som høj risiko. De er i overskriftsform: 

  1. Biometrisk identifikation af personer
  2. Kritisk infrastruktur (f.eks. transport), der kan bringe borgernes liv og helbred i fare uddannelse eller erhvervsuddannelse, der kan være afgørende for menneskers adgang til uddannelse og karrieremuligheder (f.eks. bedømmelse af eksamener)
  3. Beskæftigelse, forvaltning af arbejdskraft og adgang til selvstændig erhvervsvirksomhed (f.eks. software til sortering af CV'er ved ansættelsesprocedurer)
  4. Vigtige private og offentlige tjenester (f.eks. kreditvurderinger, der kan forhindre borgere i at få et lån)
  5. Retshåndhævelse, der kan gribe ind i folks grundlæggende rettigheder (f.eks. vurdering af bevismaterialers pålidelighed)
  6. Migration, asyl og grænsekontrol (f.eks. vurdering af rejsedokumenters ægthed)
  7. Retspleje og demokratiske processer (f.eks. vurdering af, hvordan loven anvendes på konkrete fakta).

Hvis man bruger eller laver AI inden for de her områder, så er der grund til at læse sig godt ned i den nye lovtekst. For disse systemer gælder nemlig en lang række krav: 

  1. Passende risikovurderings- og risikobegrænsningssystemer
  2. Høj kvalitet af de datasæt, der tilføres systemet, for at minimere risici og diskriminerende resultater
  3. Aktivitetsregistrering for at sikre resultaternes sporbarhed
  4. Detaljeret dokumentation med alle de oplysninger, som myndighederne skal bruge for at kunne vurdere, om systemet opfylder kravene
  5. Klare og fyldestgørende oplysninger til brugeren
  6. Passende menneskelige tilsynsforanstaltninger for at minimere risici
  7. Høj grad af robusthed, sikkerhed og nøjagtighed.

Dertil kommer, at high risk AI-systemer skal registreres og beskrives i en database før det tages i brug. 

Alle de krav bliver - sammen med en håndfuld ekstra - fordelt ud på de forskellige personer, der er involveret, når AI tages i brug: leverandører, distributører og kunder. Og det er her man skal holde tungen lige i munden for at finde ud af, hvem der skal gøre hvad hvornår, siger Jesper Løffler Nielsen. 

»EU kan ikke roses for skrive letlæselig lovgivning. Det gør det ikke til dårlig lovgivning, men det betyder, at der kommer til at gå noget tid før alle, der bliver berørt, har læst det til bunds,« siger han. 

For at dokumentere, at kravene overholdes skal virksomheder generelt lave en intern evaluering efter en skabelon, der ligger som bilag til kommissionens forslag

Hvis man er en af de førnævnte, der allerede må have ekstern evaluering for at sende et AI-produkt på markedet, kan de to evalueringer slåes sammen - så man på den måde undgår en for stor compliance-byrde.

DeepFakes og chatbots skal bekende kulør

Længere ned i pyramiden finder vi tredje kategori, som ifølge forslaget skal underlægges særlige krav til transparens. Denne kategori er mere overskuelig og tæller reelt kun tre use cases. 

Først og fremmest skal DeepFakes markeres. Hvis man producerer DeepFakes med AI - dvs. syntetiske billeder, lyd eller video - som kan opfattes som ægte, skal man oplyse, at der er tale om falsk eller manipuleret indhold.

Dernæst skal det være klart for personer, der f.eks. bruger en chatbot, at de interagerer med AI. Leverandører bag AI-systemer, som interagerer med mennesker, skal sørge for at brugeren får besked om, at han eller hun interagerer med AI - medmindre det på forhånd er åbenlyst. 

»Det sker allerede og vil ske mere i fremtiden,« forklarer en Senior Commission Official.

»Men du skal bare have information, så du evt. kan vælge at bede om at tale med et menneske.« 

Endelig kræves der ekstra transparens af systemer, hvis man bruger persondata til at forsøge at genkende eller kategorisere en persons følelser. Her skal personen igen informeres om det. Det er værd at bemærke, at denne type applikation nemt kan kravle op og blive high risk, hvis de bruges til f.eks. lovhåndhævelse eller jobinterview.

»Du skal overveje, hvad du gør«

Hvis man forbryder sig mod loven og producerer AI, som er specifikt forbudt eller snyder på kravene til high risk-applikationer, foreslår kommissionen, at bøderammen kan komme op på 6 procent af den globale omsætning eller 30 millioner euro, hvis det er et højere beløb. Mindre forteelser kan give 4 procent i bøde, mens forkerte oplysninger til myndigheder skal takseres til 2 procent af den globale omsætning.

Under alle omstændigheder skal bødeblokken ikke være den første konsekvens, siger Margrethe Vestager. Først vil den AI-ansvarlige blive bedt om at rette problemet og trække produktet tilbage. 

Trods en god mængde krav til high risk-projekter, er der ikke taler om regler, der bør afskrække mange fra denne type applikationer, vurderer Ayo Næsborg-Andersen, der er lektor i international ret ved Syddansk Universitet. 

»Hvis det du laver falder inden for high risk-kategorien, bliver den primære forskel en masse krav til dokumentation. Og det betyder jo, at du ikke bare kan sætte hvad som helst i produktion, du skal rent faktisk overveje, hvad det er du gør,« siger hun. 

»Det er i virkeligheden samme tankegang, vi kender fra GDPR. Du må gerne bruge persondata, men du skal have en lovlig grund.«

Ayo Næsborg-Andersen forventer dog, at den kommende forhandling i EU kan ende med at trække forslaget mere i retning af at beskytte fundamentale rettigheder. 

»Inden for persondata er EU-Kommissionen historisk dem, der har mest fokus på, at reglerne skal fungere for virksomheder, og ikke skabe hindringer for branchen. Så kommer parlamentet ind og sætter fokus på individet. Det var i høj grad det der skete ift. GDPR. Der sidder folk i parlamentet, der føler de skal varetage borgernes interesse, og som regel er det en tovtrækning mellem de to parter.«

EDRI vil have flere forbud

Hos rettighedsorganisationen EDRI - European Digital Rights - så man gerne, at flere systemer var flyttet helt op i pyramidens top med egentlige forbud. 

I et brev til kommissionen kritiserer organisationen på baggrund af sidste uges lækkede lovforslag, at listen over forbudte systemer ikke tæller predictive policing, AI til grænsekontrol og risikovurdering i retssystemet. Det gør de heller ikke i den endelige version - til gengæld er forbuddet mod politiets brug af ansigtsgenkendelse i realtid til masseovervågning kommet til. 

Det er en tilføjelse som Jesper Lund, der er formand for IT-Politisk Forening, er positiv over for - selvom han understreger, at det danske retsforbehold kan ende med at fritage Danmark for at følge forbuddet.  

»For Europa er det bestemt positivt, at EU foreslår den her regulering. Der er stadig nogle undtagelser, men særligt kravet om en dommerkendelse betyder, at politiet ikke kan bruge teknikken vilkårligt,« siger han. 

Ayo Næsborg-Andersen vurderer også, at der er tale om snævre undtagelser til det generelle forbud. 

»Der skal være tale om en substantiel, konkret og nært forestående trussel. Det lægger sig meget op af det, som EU-domstolen har sagt i forhold til telelognings. Du skal have en specifik grund, hvis du skal udføre masseovervågning.«

Denne artikel er opdateret 24/4 med flere detaljer. 

Prøv DataTech gratis

DataTech giver dig ny viden, cases og erfaringer med at lykkes med AI og data science i praksis. Få 3 ugers gratis og uforpligtende prøveabonnement

Klik her
REGULERING AF AI
Europa Nævnet
Illustration: Europa Nævnet

DataTech har fået økonomisk støtte fra Europa-Nævnet til at sætte journalistisk fokus på arbejdet med at regulere AI

EU-Kommissionen har i år fremlagt et forslag til, hvordan AI skal tøjles. Forude venter således en afgørende offentlig debat, som skal være med til at sikre, at den endelige lovtekst rammer den rigtige blanding af sikkerheder og muligheder. Et fejlskud mod den ene af disse poler kan have alvorlige konsekvenser for Europas evne til succesfuldt at udnytte AI i dette årti. 

DataTech vil i en artikelserie gå i dybden med, hvordan EU konkret vil regulere AI, hvor der er behov for regulering, ligesom vi undersøger, hvordan de specifikke regler rammer ned i det praktiske arbejde med AI i europæiske virksomheder.