Norsk matematik-forskning skal forhindre manipulation af AI

Foto : Yngve Vogt

Norsk matematik-forskning skal forhindre manipulation af AI

Ny matematik kan håndtere udfordringer med adversarial attacks mod AI-systemer, mener forsker

Denne artikel er oprindeligt bragt i forskningsmagasinet Apollon, der udgives af Oslo Universitet.

Kent-Andre Mardal udvikler ny matematik, som skal sørge for, at kunstig intelligens ikke længere lader sig narre. I dag er det muligt at få kunstig intelligens til at tro, at et billede af en panda er et billede af en abe, bare ved at lægge et, for os, usynligt støjfilter på. Foto: Yngve Vogt. Illustrasjon: Hanne Utigard.

Et af de store problemer med kunstig intelligens er, at den ikke giver nogen som helst forklaringer på sine konklusioner. Du kan sammenligne dette hemmelighedskræmmeri med en mystisk og uhåndgribelig sort boks, som ingen kan komme ind i.

Et klassisk problem med kunstig intelligens er, når kræftlægen i fremtiden skal bruge den nye teknologi til at dobbelttjekke en diagnose. Hvis lægen er overbevist om, at patienten er rask, kan det blive et stort dilemma, hvis teknologien mener præcis det modsatte. Hvem skal kræftlægen tro på: sig selv eller den kunstige intelligens? Uanset hvad lægen bestemmer sig for, kan konsekvenserne blive alvorlige, hvis patienten får den forkerte behandling.

Professor Kent-Andre Mardal fra Matematisk institutt ved UiO (Universitetet i Oslo) skal nu, i samarbejde med syv andre forskere, udvikle helt ny matematik for at afsløre, hvordan den kunstige intelligens tager sine beslutninger. Deres nye matematik skal gøre det muligt for kræftlægen, og alle os andre, at vurdere, hvem der har ret: den menneskelige hjerne eller den kunstige intelligens.

Manipulation

Den samme matematik skal også kunne bruges til at løse et andet stort problem. I dag er det uheldigvis muligt at manipulere den kunstige intelligens, således at den kommer med fuldstændig forkerte svar.

Et eksempel er, når kunstig intelligens bruges til at genkende dyr på billeder. Forestil dig, at du har et billede af en panda. Så kan softwaren med stor sandsynlighed fastslå, at dyret på billedet netop er en panda. Men hvis du lægger et støjfilter på billedet, vil den kunstige intelligens gå bananas og måske hævde, at pandaen er en abe.

Forklaringen på dette fænomen er, at kunstig intelligens trænes til at tolke en mængde billeder af pandaer og andre dyr ved ene og alene at tage hensyn til hver af de enkelte pixels i alle billederne. Jo flere billeder maskinen trænes til at genkende, desto sikrere kan den fastslå, hvilket dyr der er afbilledet. Problemet er, at maskinen ikke er trænet til at tolke billeder på samme måde som os mennesker.

Støjfilteret gør, at en del pixels bliver anderledes, selv om billederne ser helt ens ud for os. Mens støjen er usynlig for os mennesker, trigger den computeren til at tage forkerte afgørelser.

Hacking

Du tænker måske på, hvorfor nogen skulle finde på at lægge støj på billeder. Det virker totalt unødvendigt. Men det lille og for os usynlige støjlag kan ødelægge meget for samfundet. 

»Støj på billeder kan bruges med ondsindede hensigter.«

Mulighederne er sørgeligt mange. Forestil dig et samfund, hvor selvkørende biler er hacket til at misforstå deres omgivelser. Rent teoretisk er det muligt at lægge støjfilter på nummerplader, så de automatiske betalingsanlæg ikke opdager registreringsnummeret. Hvis du klistrer gaffatape på en helt speciel måde på et stopskilt, kan computerprogrammet uheldigvis tolke forbudsskiltet som et fartgrænseskilt.

»Vi kan ikke have biler, som opfører sig forkert og i værste fald forveksler en person på vejen med lidt tåge. Ved at narre systemet kan den kunstige intelligens begå fejl, som er helt unaturlige for os mennesker at begå. Hvis ingen kan forhindre dette, kan vi godt glemme sådan noget som selvkørende biler. Selv om den kunstige intelligens er trænet op og i gennemsnit konkluderer bedre, end vi mennesker gør, har den grundlæggende problemer, som vi mennesker ikke har tænkt på, og som tilsyneladende kan dukke op helt ud af det blå,« påpeger Kent-Andre Mardal.

Ny matematik

Kent-Andre Mardal pointerer, at det både er vigtigt at kunne garantere, at den kunstige intelligens tolker rigtigt, og at det skal være muligt at forstå, hvordan den er kommet frem til sine konklusioner.

Til dette formål vil Kent-Andre Mardal bruge koncepter fra elementmetoden, en yndet metode for dem, som elsker at løse partielle diffentialligninger, som kort fortalt er den matematiske beskrivelse af fysiske processer.

»Den samme teknik skal vi bruge til at analysere, hvor robuste algoritmerne i kunstig intelligens er. Vi ønsker, at det ikke skal være muligt at narre systemet, samtidig med at vi vil afsløre indholdet i den sorte boks. Pointen er at kunne forstå strukturerne i den sorte boks matematisk.«

Den nye matematik skal med andre ord bruges til at sikre, at svarene fra kunstig intelligens med størst mulig sandsynlighed bliver korrekte. Kent-Andre Mardal mener, at de matematiske udfordringer med kunstig intelligens er meget vigtige for offentligheden. 

»Dette er den mest tidssvarende anvendelse af matematik i dag.«

Demens

Den matematiske forskning er støttet med 16 millioner NOK af IKT Pluss, som er en af det norske Forskningsrådets store satsninger. Et af de store problemer, som Mardal skal løse gennem denne satsning, er i samarbejde med Oslo universitetssykehus at bruge kunstig intelligens til at diagnosticere demens.

Mens vi er vågne, samles der i løbet af dagen en del giftstoffer i hjernen. Hjernen renses, når man sover. Rensefunktionen er desværre dårligere hos demente.

Kunstig intelligens skal bruges til at fastslå, om en person har demens, ved at se på, hvordan hjernen bliver renset. For at kunne dette bliver den kunstige intelligens trænet op på et testmateriale. Det består af en serie MR-billeder af 100 patienter. Her har alle patienterne fået kontrastvæske. Så er der taget ti runder med MR-billeder af hjernen i løbet af 48 timer.

Ved at træne den kunstige intelligens ved at sammenligne ændringerne i hjernen hos patienter med og uden demens håber forskerne, at denne metode i fremtiden både kan bruges til at diagnosticere demens og slå fast, hvor fremskreden demensen er.

Per Kristian Eide, professor ved UiO og hjernekirurg på Oslo universitetssykehus, pointerer, at samarbejdet med matematikerne giver ny og værdifuld viden.

»Den nye metode kan, sammen med billeddiagnostik, bruges til at undersøge, hvor godt stoffer udskilles af hjernen hos mennesker. I næste omgang kan dette give information om, hvorvidt personer er i farezonen for at udvikle demens,« bekræfter Per Kristian Eide.

Denne artikel er oprindeligt bragt i forskningsmagasinet Apollon, der udgives af Oslo Universitet.