AI-professor stiller kritiske spørgsmål til model bag børneprofilering

Foto : Rawpixel.com, Bigstock

AI-professor stiller kritiske spørgsmål til model bag børneprofilering

Forskere bag projekt ‘Underretninger i fokus’ svarer på kritik af modellen, der skal resultere i et værktøj til algoritmisk beslutningsstøtte i kommunerne.
Brødtekst

VERSION2: Som Version2 tidligere har skrevet, arbejder VIA University College og Trygfondens Børneforskningscenter på Aarhus Universitet med at udvikle et dataanalytisk værktøj, der skal opspore mistrivsel blandt børn.

Læs også: Gladsaxe-modellen spøger: Nyt AI-projekt skal forudsige mistrivsel hos børn

Projektet ‘Underretninger i fokus’ ønsker at undersøge, hvordan man kan skærpe det beslutningsgrundlag, som socialrådgivere har til rådighed, når det gælder underretninger. Det skal resultere i et værktøj til algoritmisk beslutningsstøtte i kommunerne. Et pilotprojekt har allerede været i anvendelse i to kommuner.

Læs også: Advokat sætter spørgsmålstegn ved lovlighed af nyt AI-værktøj om udsatte børn

Beslutningsstøtten bygger på en såkaldt prognostisk model - en model, der på et sandsynlighedsmæssigt grundlag kan give et bud om fremtiden.

Den er udviklet på baggrund af data fra alle danske underretningssager fra april 2014 til udgangen af 2017 – i alt ca. 367.000 sager.

Modellen er udarbejdet af en gruppe forskere tilknyttet Trygfondens Børneforskningscenter, Institut for Økonomi, Aarhus BSS ved Aarhus Universitet under ledelse af professor Michael Rosholm.

Modellen er beskrevet i boksen til højre.

»Eventuel yderligere statistik-faglig baggrund for modellen vil indgå i den videnskabelige artikel, som er under udarbejdelse og som senere vil blive fagfællebedømt (peer reviewed) og publiceret i et videnskabeligt tidsskrift. Det er den gængse forskningsmæssige praksis,« skriver professor Michael Rosholm i en mail til Version2.

To forskellige faser

Til Version2 har forskerne i projektet tidligere meddelt:

»Den model, der i pilotfasen er blevet afprøvet i to kommuner, indeholder udelukkende data, som socialrådgiverne allerede har, og som dermed allerede er i forvaltningens sagsbehandlingssystem. Der indsamles ikke nye data til brug for sagen, og der forekommer ikke samkøring af data på tværs af kommunale forvaltninger.«

Men modellen bygger altså på sager over hele landet. Det forklarer Michael Rosholm således:

»Der er tale om to forskellige faser af projektet og dermed to forskellige setups, som det er vigtigt at holde adskilt.«

I udarbejdelsen af modellen/algoritmen er der anvendt data fra alle danske underretningssager fra april 2014 til udgangen af 2017 (i alt ca. 367.000 underretninger) fra hele landet (fase 1). Disse data, som ligger på en forskerserver hos Danmarks Statistik, er alene anvendt til at identificere og kvalificere elementer og vægtningen af disse i selve udarbejdelsen af modellen og den bagvedliggende algoritme. Både børn og familier er anonyme i datamaterialet hos Danmarks Statistik, påpeger Michael Rosholm.

»I pilotfasen (fase 2) og i den kommende afprøvning af modellen i flere kommuner (fase 3) bliver socialrådgiverne alene præsenteret for den færdige model (dvs. algoritmen). Det betyder, at socialrådgiveren får adgang til en risikoscore, som skal være en støtte til socialrådgiverens beslutning. Til denne beregning bruger modellen kun data, som socialrådgiveren allerede har adgang til i relation til den konkrete sagsbehandling vedrørende den enkelte sag.«

Forskel på transparens og forklarlighed

Thomas Hildebrandt, som er professor i datalogi og ekspert i AI på Københavns Universitet, siger om modellen, på baggrund af notatet ‘Data og modelbeskrivelse vedrørende projekt: Beslutningsstøtte ved underretninger:’

»Jeg synes egentlig at dette eksempel er en god illustration af forskellen på transparens og forklarlighed. Det kan godt være, at det er en simpel model, men jeg kunne godt tænke mig at spørge forskerne bag, om de har undersøgt om sagsbehandlere og borgere synes, at en sådan model giver en brugbar forklaring på hvorfor en borger f.eks. kommer i risikogruppe 7, og hvad 7 betyder?«

I et forskningsprojekt samarbejder Thomas Hildebrandt selv med det juridiske fakultet på Københavns Universitet for at undersøge om og hvordan, man kan anvende AI til beslutningsstøtte og bevare både lovlighed og tilliden til beslutninger.

Læs også: Professor: Ingen snuptags-løsninger med kunstig intelligens i forvaltning og sundhedsvæsen

»Under lovlighed hører, at der skal gives en juridisk forklaring på en afgørelse som følge af forvaltningsloven. Hvordan kan sagsbehandler og borger udfordre risikovurderinger, der kommer fra modellen?«

Hertil svarer Michael Rosholm:

»Det er relevante perspektiver, som Thomas Hildebrandt kommer med, og bestemt noget af det, som vi også er optagede af – også i et kritisk perspektiv på modellen og transparens i beslutninger i socialt arbejde. Det gælder både socialrådgiveren og borgeren.«

Kan modellen overhovedet bygges

De første to faser i projektet har handlet om at finde ud af, om sådan en model overhovedet kunne bygges, hvordan praksis på feltet tager sig ud for nuværende og om den kunne give mening for socialrådgiverne til støtte i vurderingen sammen med de andre elementer, de lige nu bruger, skriver Michael Rosholm.

Det handler bl.a. om teoretisk og forskningsbaseret viden, den lovgivningsmæssige ramme om opgaven, den konkrete praksis i den givne kommune og erfaring hos den enkelte socialrådgiver, som foretager vurderingen.

I fase 3 er det planen i et lodtrækningsforsøg og gennem kvalitativ forskning også at belyse, hvordan modellen påvirker beslutningsprocessen, hvordan socialrådgiverne oplever at arbejde med modellen og hvorvidt og hvordan den kan bruges i samarbejde med og opleves af de pågældende familier. Her er anvendelighed og transparens et omdrejningspunkt. Denne del af projektet er endnu ikke færdigdesignet.

»Så for at gøre det lange svar kort, så er det bestemt en del af forskningsprojektet. Det videre projektarbejde afventer lige nu yderligere juridiske analyser. Det er således endnu ikke påbegyndt og derfor heller ikke noget, vi har svar på endnu,« meddeler Michael Rosholm.

»Vi kan også sige, at socialrådgiverne forud for afprøvningen trænes i at anvende modellen og således i at kunne udfordre modellen ud fra egen viden og egne erfaringer. Det står den enkelte socialrådgiver frit for at ignorere modellens risikovurdering, hvis socialrådgiveren vurderer, at den ikke er brugbar. Det er netop det forskningsprojektet skal undersøge.«

Gennemsigtighed i nøjagtighed og kvalitet af data

Thomas Hildebrandt spørger også til, hvordan projektet sikrer transparens i forhold til nøjagtighed og kvalitet af data.

Hertil svarer Michael Rosholm, at der er tale om de samme data, som sagsbehandleren i forvejen kan lægge til grund for beslutningen, der anvendes i modellen.

»Vi vil i samarbejde med kommunerne gøre os umage med at sikre en høj datakvalitet. Kvaliteten af data vil dog i sidste ende afhænge af kommunernes registreringspraksis, præcis som den gør i dag.«

I forhold til at sikre transparens omkring de data modellen anvender, vil der sammen med modellens risikovurdering være et dataark. I dette dataark fremgår en oversigt over al den data, som modellen har anvendt i sin beregning. Det vil således være tydeligt for socialrådgiveren såvel som borgeren, hvilke data, der er anvendt i modellens beregning, og det vil derfor også være muligt at tjekke, om der er fejl i data. Samtidigt giver dette dataark både socialrådgiver og borger mulighed for at udfordre risikovurderingen fra modellen.

Et andet spørgsmål fra Thomas Hildebrandt lyder: »Hvordan opgør projektet modellens nøjagtighed, og er det offentliggjort?«

»Modellens nøjagtighed vil blive offentliggjort i forbindelse med offentliggørelse af forskningsartiklerne. Det er almen videnskabelig praksis. I denne proces peer-reviewes artiklerne og deres indhold. Vi befinder os som nævnt stadig i udviklings- og testfasen,« svarer Michael Rosholm.

Modellen bag projekt ‘Underretninger i fokus’

En 'risikoscore' (RS) beregnes ud fra nedenstående model, som er estimeret på baggrund af data fra Danmarks Statistiks registre. Modellen indeholder i sig selv ikke personoplysninger.

Sådan ser modellens beregning ud:

RS = 0,1175 + 0,0541 * ((Barnets alder-9,6308)/4,8251)

+ 0,0122 * ((Antal tidligere underretninger, seneste 90 dage-0,4919)/1,0475)

+ 0,0472 * ((Antal tidligere underretninger, seneste 180 dage-0,7724)/1,4455)

+ 0,0068 * ((Type 2 underretning: Kriminalitet hos barn/ung-0,0130)/0,1131)

+ 0,0212 * ((Type 7 underretning: Overgreb mod barn/ung f.eks. seksuelt eller voldeligt -0,0208)/0,1428)

+ 0,0245 * ((Type 9 underretning: Misbrug hos forældre-0,0616)/0,2403)

+ 0,0116 * ((Antal forebyggende foranstaltninger, seneste 180 dage-0,0306)/0,1790)

- 0,0002 * ((Antal anbringelser uden for hjemmet, seneste år-0,0251)/0,1777)

+ 0,0094 * ((Antal anbringelser uden for hjemmet, seneste fem år-0,0680)/0,3364)

Modellen predikterer (forudser, red.) risikoen for, at en eller flere af følgende tre udfald indtræffer, inden for 180 dage efter modtagelse af nærværende underretning.

(1) At kommunen modtager en grov underretning med bekymring om barnet/den unge.

(2) Om kommunen iværksætter en forebyggende foranstaltning for barnet/den unge.

(3) Om barnet/den unge bliver anbragt.

Kilde: Data og modelbeskrivelse vedrørende projekt: Beslutningsstøtte ved underretninger, VIA University College og Trygfondens Børneforskningscenter.