Moores lov halser efter nye kunstige neurale netværk

Foto : Ingeniøren

Moores lov halser efter nye kunstige neurale netværk

Deep learning kræver så meget regnekraft, at det snart bliver en udfordring at følge med både teknisk, økonomisk og energimæssigt. Nyt studie viser, at tre års algoritme-optimering kræver en tidobling af regnekraften.

ING.DK: Det er langt fra uden omkostninger at optimere og forbedre nye typer algoritmer, der er baseret på kunstige neurale netværk, også kendt som deep learning. Et nyt studie fra det amerikanske universitet MIT viser, at selv små forbedringer i den type algoritmer ofte kræver meget store stigninger i den nødvendige regnekraft, der skal til, for afvikle algoritmen. Faktisk stiger algoritmernes regnekraft hurtigere end chipproducenterne kan nå at øge regnekraften med. 

Der er altså fuldt fart på software-udviklingen, og det kniber med hardware-udviklingen ikke følge med.

Det betyder at algoritmerne på sigt bliver dyrere at optimere, og det vil samtidig øge energiforbruget i eksempelvis datacentre. 

Konkret har forskerne gennemgået 1.058 artikler fra pre-print-serveren Arxiv.org, hvor de har undersøgt sammenhængen mellem deep-learning-algoritmernes performance og behovet for regnekraft. De har især fokuseret på algoritmer til billedklassificering, objektgenkendelse, maskinoversættelser og spørgsmålsbesvarelser. 

Algoritmerne, der er beskrevet i de tusind artikler, er blevet kategoriseret efter hvor meget regnekraft, altså antallet af de nødvendige floating-point operations(FLOPS), der er blevet anvendt for at foretage en ændring i modellen, fx en justering af vægte i en given model. Derudover har de undersøgt, hvor meget regnekraft der har været på den hardware, modellerne er kørt på.  

Over en bred kam, bortset fra maskinoversættelser fra engelsk til tysk, finder forskerne, at selv små forbedringer af algoritmen kræver store stigninger i behovet for regnekraft.  

De anslår, at tre års optimering af algoritmer svarer til en tidobling af den nødvendige regnekraft. 

»Samlet set viser vores resultater klart, - på tværs af mange forskellige områder af deep learning - at fremskridt i træningsmodellerne er afhængige af store stigninger i den nødvendige regnekraft,« skriver de i studiet. 

MIT
Illustration: MIT

Moores lov kan ikke følge med

Op til 2012 fulgtes Moores lov - der siger at antallet af transistorer i et lukket kredsløb fordobles med 18 måneders intervaller - med det øgede behov for regnekraft til algoritmer som deep learning. Det viste en rapport fra Stanford University sidste år.  Der var altså ingen omkostninger forbundet med øgede krav til regnekraft. Men siden 2012 er algoritmernes krav om regnekraft vokset hurtigere end Moores lov.

Mens det tager chipproducenter op mod to år at fordoble regnekraften, så fordobles algoritmernes behov for regnekraft med tre til fire måneders intervaller. Og det er den udvikling, som MIT-forskerne nu har dokumenteret igen. 

På den korte bane betyder udviklingen, at det bliver dyrere at udvikle og træne nye typer deep learning-algoritmer, fordi de kræver kraftigere hardware i form af flere processorer og grafikkort, og så længe algoritmerne skal afvikles på hardware, der får energi fra fossile energikilder, vil det på sigt også have en klimamæssig konsekvens.

Tidligere i år kunne Ingeniøren fortælle hvordan energiforbruget i verdens datacentre også er presset til det yderste i forhold til at holde energiforbruget nede i takt med, at databehovet stiger. 

En videnskabelig artikel i tidsskriftet Science viste i foråret, at det hardware og software, der bruges i datacentre, formentlig kun kan håndtere en fordobling af den nuværende datacenterkapacitet, uden at energiforbruget stiger, og det sker allerede i løbet af tre til fire år.

Derefter vil energiforbruget vokse dramatisk, hvilket vil resultere i øget udledning af drivhusgasser, med mindre elektriciteten stammer fra 100 pct. vedvarende energi. Det er der ikke udsigt til inden for de næste fire år, og derfor er der brug for politisk handling, lyder det fra forskerne bag Science-studiet. 

MIT
Illustration: MIT

Der er masser af plads til forbedringer

Selvom de nye resultater kan virke en anelse nedslående for udviklere af deep learning-algoritmer, så er der faktisk masser af muligheder for at forbedre algoritmerne, så de kræver mindre regnekraft. 

Ifølge MIT-artiklen skyldes det, at udviklerne i dag ikke tager højde for behovet for regnekraft, når de designe og programmerer de nye typer algoritmer- 

»Vi viser, at det ikke er et tilfælde, men et spørgsmål om design, at deep learning kræver meget regnekraft. Den samme fleksibilitet, der gør den fremragende til at modellere forskellige fænomener og overgår andre ekspertmodeller, gør den også dramatisk mere beregningsmæssig krævende,« skriver MIT-forskerne i deres nye studie. 

Og i MIT-studiet peger de også på en række faktorer, som allerede har været medvirkende til at bremse behovet for regnekraft. De nævner blandt andet hardware-acceleratorer som Google’s tensor processing enheder, field-programmable gate arrays (FPGAs), og applikationsspecifikke chips, der målrettet deep learning.