Dansk startup vil have machine learning, der fortæller, når den er usikker

Foto : Aaron Amat / Bigstock

Dansk startup vil have machine learning, der fortæller, når den er usikker

Mange ML-systemer er bygget til altid at komme med et svar, selvom den ikke kan finde mening i data-inputtet. Og det er et problem, mener danske Desupervised.
Brødtekst

Mange ML-teknologier bygges til altid at give et svar, uanset hvor usikre de måtte være. Og det er problematisk og potentielt farligt, mener det danske startup Desupervised, der arbejder på et ML-framework, som skal bygge modeller, der indrømmer, hvis de er på gyngende grund. 

»Hvis du bygger et computerspil, skal usikkerheden nok være stor, før det betyder noget. Men i situationer, hvor du skal forudsige omsætning, stille diagnoser eller noget tredje, har du brug for at være meget sikker på den anbefaling, du får,« forklarer Michael Green, der er medstifter og CEO i Desupervised. 

»Hvis du bygger en model, der skal finde hunde og katte på billeder, så bygger du ikke en model, der skal kunne forstå billeder generelt. Du bygger en algoritme, der kan kende hunde og katte. Og hvad sker der så, når den ser et billede, der ikke er en hund eller kat? Så vil den for eksempel sige 90 procent hund, selv hvis der ikke er en eneste hund på billedet.«

Det er meget vanskeligt, at styre, hvad det neurale netværk ser, bemærker Michael Green, der har en ph.d. i Teoretisk Fysik. Derfor er det bedste alternativ at få modellen til at melde tilbage, at den muligvis ser en hund, men at den er meget usikker. 

»På den måde får du viden om, at der måske slet ikke er en hund på billedet. Og det er den eneste måde, hvorpå vi kan 'redde' de her meget specifikke modeller.«

De specifikke modeller, som den i ovenstående eksempel, kan være uproblematiske, hvis de er implementeret i et fuldstændig kontrolleret miljø. Hvis man f.eks. ved, at billederne, modellen udsættes for, altid har en hund eller en kat.

»Men i en live situation er det meget sjældent tilfældet,« siger Desupervised medstifter Jens Skoustrup-Jacobsen.

»Der vil altid være uforudsete ting og 'sorte svaner' og så videre. Og hvis ikke vi tager højde for det, så kommer vi galt af sted.«

Kvantificeret usikkerhed

Desupervised arbejder på et framework, som kunder kan bruge til at udvikle modeller til en lang række usecases. Og en konkret kvantificering af modellens usikkerhed skal være med til at gøre det framework sikkert at bruge. For flere af Desuperviseds kunder er det blevet en kritisk funktionalitet.

»Jeg var bange for, at budskabet ville være lidt meget matematik og løftet pegefinger. Men det har vækket rigtig god genklang hos beslutningstagere, der står over for at bruge AI, men ikke er helt trygge ved, hvordan det fungerer,« siger Michael Green.

Jens Skoustrup-Jacobsen fortsætter: 

»Den kvantificering af usikkerhed er vigtig for dem, der skal bruge informationen. AI-systemer bliver typisk brugt som input i vigtige processer, og der er du nødt til at vide, hvor sikker modellen er på sine prædiktioner, så de usikre kan sorteres fra og ikke resultere i fatale fejl i processen.«

For eksempel arbejder Desupervised blandt andet sammen med et selskab, der udvikler software til droner, og som vil anvende input fra dronens kamera til at styre dens adfærd i forhold til den konkrete kontekst, dronen befinder sig i, og den opgave, den skal udføre.

I dag er det typisk dronepiloten, der løbende manuelt analyserer de informationer (f.eks. video streams), dronen sender ned til styrepulten, mens den er i aktion. På den baggrund beslutter dronepiloten, om der er en situation, der skal reageres på – og i givet fald, hvad der skal gøres. Problemet er bare, at billederne kan være dårlige, så piloten ikke kan se, hvad der foregår, eller piloten kan være uopmærksom eller træt – alt sammen forhold, der forringer kvaliteten af analysen og den efterfølgende proces, resultaterne bliver anvendt i.

Ideen hos selskabet er at lægge en algoritme på selve dronen, som ikke kun tjekker, at videostreamet er af god kvalitet, men også laver et indledende første tjek på, om der er noget i de modtagne data, der ikke er, som der skal være – eller ser mistænkeligt ud. Hvis det er tilfældet, kan dronen anvende outputtet fra algoritmen til automatisk at korrigere sin flyvning og/eller aktivere relevante indsatser af dronepiloten eller andre eksterne aktører.  

I den situation – og generelt – ser Desupervised usikkerhedsberegningen som et unique selling point over for deres kunder, fordi de ikke risikerer at overse væsentlige forhold ved udførelsen af en opgave, og dermed at kunden måske mister penge ved manglende korrekt indsats.

Markering af usikkerhed kan også i sig selv være informativ i situationer, hvor det, man ikke har set før, er det interessante.

»Forestil dig i dag, hvad der findes af videoovervågningsløsninger, hvor personer forsøger at overskue mange forskellige skærme på en gang. Vi kan tage en videostream og vise, hvad modellen er usikker på, f.eks. ved at give det en farve, der er mere intens, jo mere usikker systemet er,« fortæller Jens Skoustrup-Jacobsen. 

»Information om usikkerhed er relevant i alle processer, der virkelig betyder noget, og hvor konsekvenserne af en usikker prædiktion kan være omfattende og vidtrækkende. Med andre ord: Hvor man rigtig gerne vil have svar på spørgsmålet: 'Hvor sikker er du?', inden man træffer et valg.«

Vender altid tilbage med et svar

Problemet omkring manglende rapportering af usikkerhed blev tidligere på året bragt op af Genevera Allen, der er statistiker ved Rice University, hvor hun leder Center for Transforming Data to Knowledge.

I februar advarede hun mod modeller, der er bygget til altid at komme med en forudsigelse. 

»De kommer aldrig tilbage med: 'Jeg ved det ikke', eller: 'Jeg opdagede ingenting', for det er de ikke lavet til,« sagde Genevera Allen, der pegede på cluster-algoritmer i sundhedsforskning som et eksempel. 

»Der er tilfælde, hvor opdagelserne ikke er reproducerbare. Clusters fundet i ét studie er helt anderledes end clusters fundet i et andet. Hvorfor? Fordi de fleste machine learning-teknikker i dag altid siger: 'Jeg har fundet en gruppe'. Nogle gange er det langt mere brugbart, hvis de siger: 'Jeg tror, de her hører sammen, men jeg er meget usikker på de andre her'.«

Samme perspektiv har Michael Green på udfordringen:

»Ofte taler vi ikke om usikkerhed. Men usikkerhed er noget af det bedste, vi har at læne os op ad, når vi tager vigtige beslutninger. Der er ingen, der kender hele sandheden. Men det, vi kan gøre, er at skabe modeller, der fortæller, når de er meget usikre på en bedømmelse.«

Muligheden for at kvantificere usikkerhed åbner uomgængeligt for et andet spørgsmål: Hvordan formidles usikkerheden videre til slutbrugere? 

»For det meste vil det ikke være løsningen at sende et procenttal videre til slutbrugeren,« vurderer Michael Green.

»Min tanke er, at det skal håndteres af softwaren på kundens side, som skal sætte grænsen for, hvornår usikkerheden bliver for stor. Så hvis algoritmen f.eks. er mindre end 50 procent sikker, kan softwaren returnere svaret til slutbrugeren om, at den ikke har et svar. Og eventuelt bede brugeren om mere data eller et billede fra en anden vinkel.«

For de fleste af Desuperviseds kunder gælder det, at modellerne bruges som en del af et større system, og resultatet sjældent går direkte til en slutbruger.