Dansk forsker: Neurale netværks kompleksitet kan sluge al energi i verden - »begræns anvendelsen«

1. marts 2022 kl. 05:512
Elmast
Illustration: yelantsevv / BigStock.
Deep learning-algoritmer tilhører kompleksitetsklassen ∃R, viser ny dansk forskning. Det betyder, at der ikke er nogen øvre grænse for energiforbrug. Anvendelsen af højtydende neurale netværk må derfor begrænses til vigtige områder, mener dansk forsker. I mellemtiden vokser modellerne eksponentielt.
Artiklen er ældre end 30 dage

Man kan bruge ligeså meget strøm, som det skal være, hvis man skal presse de sidste procentpoints ydelse ud af et neuralt netværk.

Det er konsekvensen af ny dansk forskning.

Mikkel Abrahamsen fra DIKU har sammen med kolleger fra tyske og hollandske universiteter vist, at træning af deep learning-systemer er et problem i kompleksitetsklassen ∃R, ‘existential theory of the reals’ (ETR).

Den indsigt giver anledning til bekymring hos Mikkel Abrahamsen, med tanke på dagens klima- og energiforsyningsproblemer.

Læs hele artiklen

DataTech er til professionelle, der arbejder med data og analytics.

Få 3 ugers gratis prøveabonnement. Betalingskort er ikke påkrævet, og du bliver ikke flyttet til et betalt abonnement efterfølgende.

Du kan også få tilsendt et tilbud til dig.

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
Adgang til andre medier
Hver måned får du 6 klip, som kan bruges til permanent at låse op for indhold på vores andre medier.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
2 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
1
3. marts 2022 kl. 04:15

Dybt fascinerende læsning.

Man kan dog ikke lade være med at spørge sig selv om. hvor godt disse algoritmer udnytter hardwaren og hvor flaskehalsen er?

Med flere milliarder parametre er det klart, at dagens CPU og GPU kredse ikke slår til. CPUer fordi de har alt for lidt cache, GPUer fordi de måske den forkerte type memory. Dynamiske RAM, de såkaldte DDR5-DIMM kredse, skal måske udskiftes med "statisk" RAM, som den man bruger i CPU-cache. Man må udvikle helt nye "SAMM-chips" og superkøling til dem. Det er jo rent gætværk fra min side, men en opfølgning med detaljer om HW-udnyttelsesgrad vil være meget interessant.

Det er i hvert fald gået op for mig, hvorfor "man forventer", at datacentres energiforbrug vokser fra 2% af elproduktionen i dag til 20% om få år.