Militær AI stiller massive sikkerhedskrav til Terma: »I sidste ende er alt underlagt CIA-modellen«
Version2: Den selvkørende bil er et klassisk og udbredt eksempel på fremtiden for kunstig intelligens.
Vi kan se fordelene AI-understøttet kørsel, og vi kan nemt forstå konsekvenserne af fejl i bilens AI-systemer: Hvis den kunstige intelligens i en selvkørende bil klokker i det og sender køretøjet med 100 km/t ind i autoværnet, kan det have fatale konsekvenser for bilens passagerer og eventuelle medbilister.
Men hvad nu hvis AI-løsningen var implementeret i et militært overvågningsprogram? Her vil en fejl i den kunstige intelligens udpegning af fjendens position ikke blot kunne føre til tab af flere, men også civile liv, og optrappe konflikter.
I begge tilfælde er der tale om det, som Samant Khajuria beskriver som mission critical systems. Systemer, der, hvis de selv slår fejl, får hele missioner til at fejle, uanset om missionen er at køre en bil sikkert til sin destination eller udpege opholdsstedet for et fjendtligt køretøj.
Som seniorrådgiver i cybersikkerhed hos den danske virksomhed Terma er Samant Khajuria vant til at skulle forhold sig til denne risiko, når han arbejder med sikkerheden i virksomhedens AI-løsninger til både forsvarssektoren og civilt brug.
Ifølge ham er det helt grundlæggende for udbredelsen af kunstig intelligens i missionskritiske systemer, at AI-løsningen er til at stole på:
»Vi forsøger at identificere ukendte udfordringer i forhold til AI og cybersikkerhed og regne ud, hvordan vi kan etablere tillid og gennemsigtighed i AI-modellerne, så de kan blive implementeret i de missionskritiske løsninger,« fortæller Samant Khajuria.
Vil vi lade AI styre et våben?
Som i eksemplet med det autonome køretøj og den beslutningsstøttende AI-løsning til forsvaret er der gode grunde til, at sikkerhedskravene er mest omfattende i sidstnævnte tilfælde.
»Ser vi på forsvarssektoren og -markedet generelt, ønsker folk for eksempel ikke, at AI skal håndtere våben,« siger Samant Khajuria, der forklarer, at selvom fremstilling af autonome våben på ingen måde er en del af Termas fremtidsplaner, så sker der en udvikling på området, som Terma følger:
»AI kan komme til at agere selvstændigt i et eller andet omfang, også ved militært brug. Det sker allerede eller vil ske i nærmeste fremtid. Så det er også en transformation, som vi skal forholde os til helt overordnet.«
En lineær udvikling
Med stadig voksende mængder af data, også i forsvarssektoren, tror Samant Khajuria altså, at det er et spørgsmål om tid, før AI ikke blot er udbredt til beslutningsstøtte i forsvaret, men også kan handle på egen hånd.
Data fra satellitter, radarer og et utal af sensorer vil nemlig ruste algoritmerne til at kunne træffe bedre og bedre beslutninger, men også beslutninger, som det omvendt ville kræve mange menneskelige ressourcer at nå frem til.
Derfor ser seniorrådgiveren samtidig, at Termas egne AI-løsninger til forsvarssektoren vil udvikle sig lineært i forhold til graden af beslutningsstøtte. Men der er trukket en tydelig streg i sandet:
»Til at begynde med er vi nødt til kun at bistå med en lille grad af støtte. Noget, der kan fungere hånd i hånd med en slags operatør, og som kan arbejde sammen med operatører om at træffe hurtigere beslutninger. Efter et stykke tid vil vi gerne bevæge os fremad og have AI til at gøre mere og mere selv, men aldrig i form af autonome våben,« siger Samant Khajuria, som understreger, at Terma udelukkende arbejder med at udvikle beslutningsstøttende værktøjer.
Forsyningskæder og security by design
Udvikling inden for militært brug af AI stiller store krav til informationssikkerheden i de systemer og løsninger, som eksempelvis Terma udvikler:
»Hele AI-området er generelt mindre kontrolleret. Det betyder, at vi skal være ekstra forsigtige og indsætte systemerne i nogle ekstra sikre miljøer, hvor vi ikke ser mulighed for nogle former for angreb på systemerne, manipulation med data og den slags ting,« siger Samant Khajuria.
Hos Terma går man til den opgave på forskellig vis og på forskellige niveauer:
»Hvis jeg lægger ud med det helt fundamentale, er det forsyningskæden. I forsvarssektoren er én af de største lige nu at være compliant med det, der hedder CMMC - Cybersecurity Maturity Model Certification,« forklarer Samant Khajuria.
Certificeringen, som udbydes af det amerikanske Department of Defence, understøtter en styrkelse af forsyningskæderne, lige fra hardware til software og i selve produktionsmiljøerne. Formålet er at sikre, at ingen eksterne parter har mulighed for at “injicere” noget under produktionen.
En anden måde at etablere sikkerheden allerede i udviklings- og produktionsfasen er ved security by design, som også er grundlæggende for Termas sikkerhedsarbejde:
»Vi arbejder meget med det domæne, security by design. Altså, hvordan vi udfører vores sårbarheds- og risikovurderinger af vores produkter, før vi udvikler dem,« siger Samant Khajuria.
To slags AI-løsninger
Når det netop er processer som sikring af forsyningskæden og security by design, der er væsentlige i Termas arbejde med informationssikkerhed i deres AI-løsninger, skyldes det blandt andet, at løsninger henvender sig til to ret forskellige kundegrupper.
Dels udvikler Terma løsninger, der er baseret på store og ganske generelle datasæt, hvor Terma varetager al data, træning og udvikling, som de sælger i form af eksempelvis apps. Det kan være til monitorering af radarer, som det er eksemplet med Terma Lifecare, der på baggrund af data om vind, vejr, slitage med mere kan give brugerne besked om, hvornår en radar sandsynligvis har behov for service.
Dels udbyder teknologivirksomheden AI-løsninger, hvor Terma har stået for udviklingen og produktionen, men kunden selv står for varetagelse af data. Det er eksempelvis tilfældet med Termas rolle i det internationale overvågningsprogram Alliance Ground Surveillance (AGS), med hvilket NATO kan overvåge fjendtlig tilstedeværelse i en lang række lande. Ved hjælp af dronebilleder kan systemet for eksempel hurtigt spotte om en ubåd i dansk farvand er svensk, tysk eller russisk og derefter om nødvendigt slå alarm.
I begge tilfælde har Terma et ansvar for, at det grundlæggende sikkerhedsniveau i produkterne er højt, men i sidstnævnte eksempel, har Terma ikke på samme måde mulighed for løbende at sikre informationssikkerheden.
Edge computing og klassificeret data
Når sidstnævnte eksempel samtidig er den slags AI-løsninger, som Terma typisk leverer til forsvarssektoren, gør det ikke kravene mindre:
»Hvis vi taler om forsvarssektoren, vil de typisk gerne have noget udviklet til dem, men selv stå for vedligeholdelse, eftersom deres data er højt klassificeret. Så data kan ikke bare bevæge sig over internettet eller være koblet til et åbent system. Her må vi gøre tingene på en lidt anden måde,« forklarer Samant Khajuria.
Han eksemplificerer, hvordan udviklingen i både elektronik, batterier og processorer er af stor betydning, da det tilsammen muliggør, at AI-processerne kan rykke stadig tættere på der, hvor beslutningerne skal træffes rent fysisk.
Her ser Samant Khajuria, at man med tiden har udviklet eksempelvis muligheden for at køre mindre processer nær beslutningstagerne ved hjælp af lokale hubs eller lignende eksempler på edge computing. Han fremhæver her mobiltelefonen som et godt eksempel på en teknologi, som i dag understøtter lokale processer uden om opkobling til cloud.
CIA-model og sikkerhedsmål
Med det sagt forholder Terma sig også til mere gængse foranstaltninger og retningslinjer inden for informationssikkerhed:
»I sidste ende er alting underlagt CIA-modellen, fortrolighed, integritet og tilgængelighed og dertil lagt autenticitet, operationalisering og ikke-gentagelse,« siger Samant Khajuria og tilføjer yderligere syv sikkerhedsmål for Termas arbejde med kunstig intelligens:
»Her ud over går vi mere specifikt til AI. Det handler om robusthed, troværdighed, sikkerheden i AI, gennemsigtigheden i AI, forklarbarhed, ansvarlighed og databeskyttelse.«
Her vender Samant Khajuria gentagende gange tilbage til to af ovennævnte størrelser: troværdighed og gennemsigtighed.
Forståelse for algoritmerne skaber tillid
Disse to sikkerhedsmål går ifølge Samant Khajuria hånd i hånd på den måde, at hvis Terma kan sikre gennemsigtighed, indsigt og forståelse for algoritmerne i en given AI-løsning, vil det også skabe tillid til produktet hos Termas kunder.
»Hvis folk ikke forstår, hvad der sker, ønsker de ikke, at løsningen skal være en del af deres kritiske infrastruktur,« mener Samant Khajuria.
Hos Terma har man valgt at gå til den problemstilling ved at lade det være virksomhedens data scientists, der varetager kontakten til nuværende og potentielt fremtidige kunder. Altså er de virksomhedens ansigt ud ad til i spørgsmålet om AI-løsningerne.
Det har man valgt at gøre, så netop de, der har den dybeste indsigt i algoritmerne, også er dem, der skal forklare AI-løsningerne og dermed skabe den bedst mulige gennemsigtighed i forhold til, hvordan en given løsning er skruet sammen.
AI - svært at forstå for de fleste
Og det er ikke nogen let opgave at skulle forklare eksempelvis udfaldet af et neuralt netværk. Det har Samant Khajuria mærket på egen krop:
»Jeg er også censor på DTU Compute. Her er det meget interessant at se, hvordan de kandidatstuderende arbejder med AI. De kan træne modellerne, de kan håndtere datasæt og får noget meningsfuldt ud af dem. Men når vi går mere specifikt til selve modellerne, så er det ikke noget, der er forstået af særligt mange,« fortæller han.
Så længe det er noget, man er opmærksom på, er dette dog ingen skam. Selv for en seniorrådgiver i cybersikkerhed hos Terma:
»Bare for at understrege det: det er også kompliceret for mig at forstå, og jeg lærer også nyt hver dag!« griner Samant Khajuria.
