AI kan gætte race ud fra CT-scanning, og forskere ved ikke hvorfor

ct scanning
Illustration: CreativeEndeavors, BigStock. Se større version
Resultater spirer bekymring for at bias kan være skjult i medicinsk AI. 
6. september 2021 kl. 09:59
errorÆldre end 30 dage

Deep learning-modeller kan med høj præcision lære at forudsige race ud fra medicinske billeder. Det konstaterer et stort hold af forskere fra blandt andet MIT og Stanford School of Medicine i et paper, som kalder på forsigtighed. 

Der er nemlig ingen kendt korrelation mellem race og den information, som de medicinske billeder tilbyder, og det er med andre ord ikke klart, hvordan modellen lurer patientens race. Og det bør give anledninge til bekymring, mener forskerholdet. 

»We strongly recommend that all developers, regulators, and users who are involved with medical image analysis consider the use of deep learning models with extreme caution,« skriver de i en præpubliceret artikel

Få fuld adgang til DataTech

DataTech skriver til dig, der arbejder professionelt med data og analytics. Vi giver dig inspirerende cases, nyheder og debat om alt fra machine learning-modeller til dataetik. Få tilsendt tilbud

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
Debatten
Log ind for at deltage i den videnskabelige debat.
settingsDebatindstillinger
#1
Matthias Scholz
12. januar kl. 11:21

Jeg synes det er en meget mærklig reaktion forskningen har på det fenomen. Hvis det er rigtig, at AI modellen har fundet mønstre i de data, som giver et næsten 100% sikkert resultat mht race, så ville min reaktion være, at vi er "blinde" og at en objektiv algorytme har opsporet noget som vi endnu ikke forstår, men som kan være essentiel.

Det er måske lige nøjagtig en måde at forstår bedre, hvorfor menneske er ikke menneske. Der er en evolutionsmæsig grundt til, at nogen har mørk hudfarve og andre ikke. Og det ville være logisk at det er ikke det eneste som er anderledes hos forskellige racer - at det er lige nøjagtig ikke kun på overfladen at vi er forskellige.

Jeg tror at problemet ligger i hjernen af dem, som arbejder med de her modeller. Det er et tegn på, at de fleste i sundhedsvæsnet verden rundt (og måske særdeles i USA) er alt for parat til at hoppe på diskriminerings sporet når race indblandes, i stedet for at se på problemerne og mulighedrene objektivt. Ja - algoritmen skal ikke bruges til at sortere mennesker fra, men hvis den tydeliggør at medicinen har overset nogle vigtige fysiologiske forskelle, så ville det jo være af enorm hjælp til en bedre medicinsk behandling af alle.

Som jeg forstår AI indtil videre, så er det mega-data-crunching-algoritmer (virker ikke særlig intelligent - mere som ufattelig kompleks håndtværk), og at deres styrke er håndtering af mange statistiske variabler. Hvis den her AI virkelig kan finde frem til racen, så gør det den sandsynligvist på baggrund af nogle variabler, som vi ikke lægger særlig meget vægt på fordi de drukner i de mest fremtrædende og indlysende, dvs det kommer forskerne at tage nogen tid at forstår det. Måske det kan sammenlignes med det, som vi mennesker har som intuition - noget som vi ikke kan sætte fingeren på, men hvor svaret er faktisk ofte rigtig.

Jeg håber ikke, at nogen har indtastet racen i alle data sæt og algoritmen har adgang til den information. Fordi den slags resultater kan rykke - her er det artificiel intelligens som sætter gang i vores intelligens for finde ud af, hvad AI ser men som vi er blinde overfor.

Måske der skal oprettes et nyt spor - Artificial Intuition.