Dansk startup vil bygge ML med sund fornuft: Der er et fundamentalt problem i de metodologier, vi normalt bruger

Foto : Drawlab19 / Bigstock

Dansk startup vil bygge ML med sund fornuft: Der er et fundamentalt problem i de metodologier, vi normalt bruger

Bayesian machine learning betyder mindre træningsdata, mindre computerkraft og hurtigere iterationer, mener den danske startup Desupervised.

Michael Green har været vidt omkring i sit arbejde med machine learning. Fra han fik sin doktorgrad i teoretisk fysik, har han udviklet ML til diagnosticering, til finans og til marketing. Sammen med fem andre grundlagde han det AI-centriske selskab Blackwood Seven.

Og igennem de mange forskellige kontekster for machine learning står en ting klar: Der er et fundamentalt problem i de metodologier, som bruges til at udvikle ML-modeller.

»Det er et problem, der går helt tilbage til matematikken, og det ligger i det, man kalder maximum likelihood,« indleder Michael Green.

Maximum likelihood betyder groft sagt, at man bestemmer parametrene til en model ved at finde dem, der bedst passer til et givent sæt data. 

»Det er et problem, fordi vi ved, at data kan pege i en retning, der måske ikke giver mening. Det kan være et datasæt, der kun er samlet på et begrænset område, og når du vil ekstrapolere videre til andre områder, så ved ML-modellen ikke, hvad den taler om,« forklarer Michael Green og fortsætter: 

»Maximum likelihood-modeller betyder, at du kun bruger data, og ikke al den viden, som mennesker ellers har. Men det betyder, at den kun går rundt efter korrelationer, og det er farligt, for vi ved, at kausalitet og korrelation ikke er den samme.«

»Og det er et kæmpe problem, når du smider algoritmer ud i den virkelige verden,« siger Michael Green. 

Røde og gule bolde

Sammen med Jens Skoustrup-Jacobsen har Michael Green grundlagt selskabet Desupervised, der skal levere et framework for at arbejde med ML på en anden måde end maximum likelihood-metoden, fordi det skaber risiko for eklatante fejl.

»Forestil dig et system, der er trænet til at kategorisere bolde i rød, gul og grøn,« siger Jens Skoustrup-Jacobsen, der tidligere har grundlagt og drevet analysekonsulentfirmaet RelationMonitor. 

»Hvis du giver den en blå bold, vil den fortsætte med at tage udgangspunkt i det, den er trænet i, og f.eks. sortere den som grøn. Det ville ethvert menneske intuitivt se er forkert, men den sunde fornuft eksisterer ikke i modellen,« siger han og fortsætter: 

»Et menneske tager sine forholdsregler, når vi præsenteres for noget, vi ikke har set før, og vi ville være meget varsomme med at basere beslutninger på det. Og det er information om den usikkerhed, prædiktions fra ML- modeller bygget eller opgraderet via vores platform indeholder.«

Bayesian machine learning 

Nøglen til ambitionen ligger i konceptet bayesian machine learning, der går ud på at kombinere træningsdata med domæneviden. 

»Det betyder grundlæggende, at vi tager den viden, som mennesker har, og koder den som en statistisk fordeling, og stiller det sammen med data,« forklarer Michael Green. 

»Det er sammenstillingen af erfaring, data og algoritmer, der gør, at vi får noget, der langt bedre forstår det miljø, den opererer i.«

Et simpelt eksempel på, hvordan bayesian machine learning overordnet fungerer, er en model, der skal forudsige sandsynligheden for, at en mønt lander på plat eller krone. Hvis et træningssæt på 10 forsøg resulterer i 7 gange plat og 3 gange krone, ville en ikke-bayesiansk model fordele sandsynligheden for de to resultater til 70% og 30%. 

Men med bayesian machine learning kan vi indkode i modellen, at vi er 99 procent sikker på, at mønten er balanceret og således tilføje vores viden om mønten til modellen. 

En måde at engineere sig ud af at tilføje den viden - som i denne sammenhæng kaldes en prior - er ved at bruge sindssygt meget data, hvilke i dag gør neurale netværk ekstremt data-sultne. Med bayesian deep learning kan behovet for træningsdata nedbringes. 

»Vi har lavet en test, hvor vi har trænet et neuralt netværk på en meget simpel opgave, hvor algoritmen skal genkende 10 forskellige objekter i billeder. Det trænede vi fra bunden og tilførte vores viden - vores prior - om, hvordan man finde kanter og så videre,« fortæller Michael Green og fortsætter: 

»Vores tilgang var 2-300 gange hurtigere, end hvis man skal opnå den samme performance bare med data. Det betyder mindre træningsdata, mindre computerkraft og hurtigere iterationer. Set fra et kommercielt og økonomisk perspektiv er det yderst interessant, da det nedbringer time-to-market og investeringen i den enkelte ML-model markant, hvilket er med til at gøre AI mere tilgængeligt og øge ROI af AI-investeringen.«

I Desuperviseds framework er indbygget en række priors, som brugere således kan anvende, når de bygger modeller. 

»Så hvis du skal træne en model til at finde noget på billeder, har vi allerede givet den en forståelse af kanter, runde objekter, forskel i farver og dybder og så videre. Den skal ikke starte forfra.«

Forstår AutoML-skepsis

Med frameworket skal det være muligt for alle med en smule data-tække at bygge modeller. Det kræver også, at man sørger for, at brugere ikke bygger noget uhensigtsmæssigt, siger Michael Green, der godt forstår dem, der er skeptiske over for AutoML-systemer. 

»Når du bygger AutoML-modeller i dag, vil de være bygget på konceptet om maximum likelihood. Og i den ligger den faldgrube, at den går benhårdt efter en statistisk korrelation, som opstår i data af mange grunde. Selv hvis den ikke har noget som helst at gøre med det, du gerne vil forudsige. Så jeg forstår godt bekymringen, og den er berettiget,« siger han. 

Frameworket kan ikke bruges til at bygge en hvilken som helst model. Brugeren må i stedet arbejde med at sammensætte nogle grundelementer og samtidig koble med de priors, som netop sikrer mod nogle grundlæggende fejl. Endelig kan de rulle modellen ud i en docker container, så den kan implementeres, hvor der er brug for det. 

»Dette er ikke en black box-løsning, du bare smider data ind i og får et svar fra, sådan som mange af de tidligere AutoML-løsninger har været,« understreger Michael Green.

Michael Green
Michael Green
Illustration: Michael Green

Michael Green er medstifter og CTO af Desupervised. Tidligere har han været medstifter af Blackwood Seven, hvor han har fungeret som Chief AI Officer, samt CTO i Data Intelligence. Michael Green har en pd.d. i teoretisk fysik fra Lund Universitet.