Tre veje at gå for AI i retslig praksis og beslutningstagen

Højere grad af anvendelse af AI i sagsbehandling vil kræve lovændring, skriver jurastuderende Victoria Sobocki og cand.jur. Niels Damgaard.
Brødtekst

AI-algoritmer kan redde liv, strømline bureaukratiske processer og give anledning til nye forretningsmodeller, men de kan også påvirke folks liv og deres arbejde negativt og endda manipulere økonomi, samfund og politik. Mellem såkaldt »algokrati« og »overvågningskapitalisme» bliver algoritmernes rolle gradvist vigtigere og koncentrerer den globale magt i hænderne på meget få virksomheder.[1]

Mennesker interagerer med mange »black box«-AI-systemer hver dag, fx Googles søgeresultater, Amazons anbefalinger og Facebooks newsfeed. Men de mere farlige og måske endda uhyggelige er dem, der fx bruges til at uddele fængselsstraffe, sociale ydelser [2], foretage kreditvurderinger eller træffe beslutninger ang. hospitalsbehandlinger.[3]

I øjeblikket udvikles og anvendes AI af forvaltningen til en lang række opgaver, også når der skal træffes afgørelser over for borgere og virksomheder. Især systemer udviklet med machine learning viser et stort potentiale til at blive anvendt i stadig større udstrækning til at assistere sagsbehandlere, når de skal træffe afgørelser over for borgere, eller til at holde øje med, om borgere eller virksomheder overholder loven.

Hvor er vi nu?

Fordi machine learning-algoritmer er i stand til at genkende mønstre i store mængder data, har eksempelvis Erhvervsstyrelsen udviklet algoritmer, som er i stand til at identificere, hvorvidt der er fejl i regnskaber eller andre dokumenter, som virksomheder ved lov er forpligtet til at indsende til styrelsen. Styrelsen er hermed i stand til at tjekke samtlige regnskaber til forskel fra den hidtidige stikprøvekontrol.[4] Ud af 270.000 regnskaber blev 30.000 genindsendt i en revideret udgave af virksomheder, der var blevet identificeret af algoritmen. Styrelsen vurderer dermed, at algoritmen i disse tilfælde korrekt har vurderet, at der var fejl i regnskaberne.

Denne fremgangsmåde er også blevet anvendt på det sociale område, eksempelvis til at identificere mistrivsel blandt børn.[5] Ligesom algoritmer er i stand til at detektere uregelmæssigheder i regnskaber, kan de også ud fra data detektere tegn på eksempelvis menneskers mistrivsel. I dette konkrete eksempel vurderer algoritmen et barns risiko for at blive anbragt inden for henholdsvis tre måneder og et år.[6] Dette udmønter sig i en »risikoscore«, hvor den statistiske sandsynlighed for anbringelse angives i et tal fra 1-10.

Ifølge udviklerne er målet, at de socialfaglige medarbejdere skal anvende risikoscoren som såkaldt beslutningsstøtte, altså til at træffe bedre afgørelser om hvilke indsatser der skal sættes ind over for udsatte børn. Beslutningsstøttesystemer er udviklet på en lang række områder, eksempelvis til at identificere lediges risiko for langtidsledighed [7] eller identificere, om visse borgere er i større risiko for at begå socialt bedrageri.[8]

Herudover er der udviklet beslutningsstøttesystemer, som fortæller sagsbehandlere, hvilke afgørelser der blev truffet i lignende sager. Sagsbehandlerne kan dermed se, om den afgørelse, de træffer, svarer til afgørelser i lignende sager. Centerchefen i Jobcenter København udtaler således: »Når en konsulent sidder og laver en aftale med en borger, så kunne der være et barometer, som går fra rød, gul til grøn, når aftalen lever op til kriterierne.«[9]

Hvor bevæger vi os hen?

Der synes dermed at tegne sig et klart billede af, at AI skal anvendes som beslutningsstøtte for sagsbehandlere, og at denne beslutningsstøtte principielt kan anvendes i alle afgørelser truffet i forvaltningen. I alle projekter understreges det, at sagsbehandleren ikke erstattes, men assisteres af AI-systemerne.

Et spørgsmål, der melder sig, er dog, om disse systemer på sigt vil erstatte sagsbehandlere, således at beslutninger træffes udelukkende af AI-systemet. Et andet spørgsmål er, om det er etisk forsvarligt at foretage profileringer af borgere.

Etikken bag brugen af algoritmer

Algoritmer forbedrer ikke blot vores handlefrihed; de gør også ting vores vegne. De begrænser vores vifte af muligheder, gør nogle oplysninger mere håndterbare og mere fremtrædende og letter nogle af vores kognitive byrder.[10] Men dette kan være et problem ift. de bagvedliggende processer.

Machine learning fungerer i forskellige »black box«-tilstande, hvor arbejdsprocesserne er skjult, enten fordi beslutningerne simpelthen er umulige at backtrace, eller fordi virksomheder eller institutioner ikke vil have folk til at kende til dem [11] af juridiske, forretningsmæssige eller sikkerhedsmæssige årsager.[12] »AI-explainability« er et stort problem med hensyn til brug af algoritmer mht. fx domme, medarbejderrekrutteringer, selvkørende køretøjer, patientdiagnoser og militære anvendelser.[13]

Pt. anvendes algoritmen COMPAS i amerikanske straffesager til at forudsige tiltaltes sandsynlighed for at krænke igen, hvor den vurderer omkring 100 faktorer for at finde den statistiske sandsynlighed for rehabilitering eller genovertrædelse. Nogle mener, at sådan en algoritme er forudindtaget pga. ældre afgørelsesmønstre, mens andre mener, den er upartisk ift. følelser, politik, penge eller magt.[14]

Hvad er farerne?

For det første kan algoritmen fodres »dårlig« eller forkert data.

Thomas Rosenquist, Senior Enterprise Architect i Office of Technology i KMD, udtaler, at »sender man dårlige data ind i systemet, så får man også dårlige og forkerte resultater ud (...) Hvis man vil have succes med brugen af machine learning, skal man forstå sine data og hvilken forretningskontekst, tingene skal indgå i.«[15]

Algoritmen ville også kunne blive for forudindtaget pga. ældre betænkelige afgørelser og domme, fx påstå at sorte mennesker er dobbelt så meget tilbøjelige til at begå kriminalitet end hvide, selvom dette ikke var sandt i de konkrete tilfælde.[16]

For det andet vil mennesker ubevidst kunne blive påvirket af algoritmernes resultater.

Daniel Susser, professor i filosofi, teknologi og etik ved Pennsylvania State University, har udtalt, at AI vil påvirke vores beslutningsprocesser intimt, snarere end udelukkende at træffe beslutninger om os,[17] som vi ofte ser i dag.[18] Det handler ikke længere om at se AI som en ekstern kraft, der virker på mennesker, men om hvad der sker, når begge kombineres i et fuldt integreret forhold som en slags »cyborg«, hvor sagsbehandler og AI smelter sammen, i stedet for at holde AI i skak.

For det tredje kunne der argumenteres for, at folk vil begynde at have for meget tillid til AI-systemerne, a la en form for tro på magi eller religion, for ligesom sci-fi-forfatteren Arthur C. Clarke har sagt: »Enhver tilstrækkeligt avanceret teknologi kan ikke skelnes fra magi.«[19]

Disse kan alle have potentialet til at nedbryde fundamentet for vores individuelle handlefrihed, sociale solidaritet og demokratiske samfund, hvori vores kollektive frihed og fælles menneskehed i sidste ende er rodfæstet.[20] Derfor er det vigtigt at kigge fremadrettet mod løsninger allerede nu.

Mulige løsninger

Pga. lovens begrundelseskrav har borgeren krav på at få en begrundelse for afgørelser truffet af forvaltningen – derfor kan AI-systemer ikke p.t. erstatte den menneskelige sagsbehandler, selv hvis de er korrekte i 100 pct. af tilfældene. Hvis der ikke angives de hensyn, der lå til grund for den konkrete afgørelse, vil afgørelsen være ulovlig og som udgangspunkt ugyldig.

Det kan også være en god idé, at de fleste AI-relaterede algoritme-risici løses gennem sektorspecifik regulering, dvs. forskellig regulering inden for fx sociale områder, job-, bank-, transport- eller sundhedssektoren. Dog bør der yderligere oprettes en særskilt tilsynsmyndighed eller organisation til at holde øje med bredere sociale skjulte skader forårsaget af AI (som fx set mht. »fake news« og politiske valg).[21]

Der synes derfor p.t. at være tre veje at gå på det helt basale plan:

1) AI bliver fortsat anvendt som beslutningsstøtte, hvor en menneskelig sagsbehandler træffer den endelige afgørelse,

2) Der skal anvendes AI, som kan give en begrundelse, hvis der er et ønske om at erstatte den menneskelige sagsbehandler,

3) Lovgivningen ændres, så det bliver muligt i højere grad at anvende AI.

Løsning 1 udvikles i øjeblikket, mens løsning 2 kræver at AI-teknologien udvikles til et langt højere niveau. Opnås dette, må teknologien tilpasses den nuværende lovgivning, hvilket der også er forsøg på inden for »explainable AI« (xAI) [22] eller algoritme-fairness.[23, 24]

Løsning 3 indebærer modsat, at lovgivningen tilpasses teknologien, og at vi ligefrem ændrer vores traditionelle juridiske krav og forventninger til samfundet – og dette er måske noget, vi slet ikke er klar til.

Prøv DataTech gratis

DataTech giver dig ny viden, cases og erfaringer med at lykkes med AI og data science i praksis. Få 3 ugers gratis og uforpligtende prøveabonnement

Klik her
Henvisninger:
  1. Boldrini, Nicoletta, Medium, Algocracy and surveillance capitalism: we live in a world governed by algorithms (2017) https://medium.com/@NicBoldrini/algocracy-and-surveillance-capitalism-we-live-in-a-world-governed-by-algorithms- abd1f158186a Tilgået d. 09/04/2021 
  2. Mchangama, Jacob and Liu, Hin-Yan, Foreign Policy, Argument, The Welfare State Is Committing Suicide by Artificial Intelligence (2018) https://foreignpolicy.com/2018/12/25/the-welfare-state-is-committing-suicide-by-artificial-intelligence/ Tilgået d. 09/04/2021
  3. Dickson, Ben, TechTalks, The dangers of trusting black-box machine learning (2020) https://bdtechtalks.com/ 2020/07/27/black-box-ai-models/ Tilgået d. 09/04/2021
  4. Peter Hesseldahl | 25 februar 2020 | ‘Nu Bliver Den Offentlige Sektor Kunstigt Intelligent’ (Mandag Morgen, d. 25. februar 2020) <//www.mm.dk/artikel/nu-bliver-den-offentlige-sektor-kunstigt-intelligent> tilgået 23. marts 2021.
  5. Tania Andersen, ‘Gladsaxe-modellen spøger: Nyt AI-projekt skal forudsige mistrivsel hos børn’ (Version2, 29. januar 2020) <https://www.version2.dk/artikel/gladsaxe-modellen-spoeger-nyt-ai-projekt-skal-forudsige-mistrivsel-hos-boern-1089919> tilgået 20. april 2021.
  6. Invitation til at deltage i projekt Underretninger i fokus, Trygfonden, Via University College, Trygfondens Børneforskningscenter.
  7. Tania Andersen, ‘Ny lov: Arbejdsløse skal dataprofileres og samkøres i landsdækkende register’ (Version2, 15. maj 2019) <https://www.version2.dk/artikel/ny-lov-arbejdsloese-skal-dataprofileres-samkoeres-landsdaekkende-register-1088085> tilgået 25. januar 2021.
  8. Tania Andersen, ‘Sådan kommer Horsens’ bedrageri-algoritme til at se ud’ (Version2, 27. february 2019) <https://www.version2.dk/artikel/saadan-kommer-horsens-bedrageri-algoritme-at-se-ud-1087555> tilgået 20. april 2021.
  9. Viden på Tværs, ‘Kunstig intelligens og machine learning finder vej ind på beskæftigelsesområdet’ (VPT) <https://vpt.dk/jobcenter/kunstig-intelligens-og-machine-learning-finder-vej-ind-pa-beskaeftigelsesomradet> tilgået 20. april 2021.
  10. Brundage M and Danaher J, ‘Cognitive Scarcity and Artificial Intelligence: How Assistive AI Could Alleviate Inequality’ (Philosophical Disquisitions, 15 May 2017) <http:// philosophicaldisquisitions.blogspot.com/2017/05/cognitive-scarcity-and-artificial. html> Tilgået 10/06/2019 
  11. Dickson, Ben, TechTalks, The dangers of trusting black-box machine learning (2020) https://bdtechtalks.com/ 2020/07/27/black-box-ai-models/ Tilgået d. 09/04/2021 
  12. Dickson, Ben, TechTalks, The dangers of trusting black-box machine learning (2020) https://bdtechtalks.com/ 2020/07/27/black-box-ai-models/ Tilgået d. 09/04/2021 
  13. ODSC - Open Data Science, Medium, AI Black Box Horror Stories — When Transparency was Needed More Than Ever (2019) https://medium.com/@ODSC/ai-black-box-horror-stories-when-transparency-was-needed-more-than- ever-3d6ac0439242 Tilgået d. 09/04/2021 
  14. https://www.natlawreview.com/article/would-you-trust-artificially-intelligent-expert Tilgået d. 26/04/2021
  15. KMD, DIGITAL TRANSFORMATION, Maskinerne lærer om din adfærd for at forudsige fremtiden, https://www.kmd.dk/indsigter/maskiner-laerer-om-din-adfaerd Tilgået d. 13/04/2021
  16. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm Tilgået d. 26/04/2021
  17. Contagious Magazine. 2019. ‘Issue 60: Shoshana Zuboff on the age of surveillance capitalism’ https://www.contagious.com/news-and-views/shoshana-zuboff-on-the-age-of-surveillance- capitalism Tilgået d. 13/09/2021. 
  18. Susser, Daniel. 2019. Invisible Influence: Artificial Intelligence and the Ethics of Adaptive Choice Architectures. In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (AIES '19). Association for Computing Machinery, New York, NY, USA, 403–408. 
  19. Clarke, Arthur C., Orion Pub Co, Profiles of the Future: An Inquiry into the Limits of the Possible (1962), ch. 2
  20. Karen Yeung, Why Worry about Decision-Making by Machine? (Oxford University Press) 41–45 <https://oxford.universitypressscholarship.com/view/10.1093/oso/9780198838494.001.0001/oso-9780198838494-chapter-2> Tilgået d. 2 Juni 2021.
  21. Jason D Lohr, Winston J Maxwell and Peter Watts, Legal Practitioners’ Approach to Regulating AI Risks (Oxford University Press) 245–246 <https://oxford.universitypressscholarship.com/view/10.1093/oso/9780198838494.001.0001/oso-9780198838494-chapter-10> Tilgået d. 2 Juni 2021.
  22. https://pro.ing.dk/datatech/article/metoder-inden-explainable-ai-xai-8879 og https://pro.ing.dk/datatech/article/xai-forsker-vi-ved-lidt-om-hvad-der-egentlig-kraeves-af-en-god-forklaring-9740 
  23. https://samvirke.dk/artikler/algoritmer-kan-ogsaa-vaere-groenne Tilgået d. 18/04/2021
  24. https://www.abajournal.com/legalrebels
    /article/a_principled_artificial_intelligence
    _could_improve_justice
    Tilgået d. 26/04/2021
Regulering af AI
Europa Nævnet
Illustration: Europa Nævnet

DataTech har fået økonomisk støtte fra Europa-Nævnet til at sætte journalistisk fokus på arbejdet med at regulere AI

EU-Kommissionen har i år fremlagt et forslag til, hvordan AI skal tøjles. Forude venter således en afgørende offentlig debat, som skal være med til at sikre, at den endelige lovtekst rammer den rigtige blanding af sikkerheder og muligheder. Et fejlskud mod den ene af disse poler kan have alvorlige konsekvenser for Europas evne til succesfuldt at udnytte AI i dette årti. 

DataTech vil i en artikelserie gå i dybden med, hvordan EU konkret vil regulere AI, hvor der er behov for regulering, ligesom vi undersøger, hvordan de specifikke regler rammer ned i det praktiske arbejde med AI i europæiske virksomheder.