Dansk forsker: Neurale netværks kompleksitet kan sluge al energi i verden - »begræns anvendelsen«

2 kommentarer.  Hop til debatten
Elmast
Illustration: yelantsevv / BigStock.
Deep learning-algoritmer tilhører kompleksitetsklassen ∃R, viser ny dansk forskning. Det betyder, at der ikke er nogen øvre grænse for energiforbrug. Anvendelsen af højtydende neurale netværk må derfor begrænses til vigtige områder, mener dansk forsker. I mellemtiden vokser modellerne eksponentielt.
1. marts kl. 05:51
errorÆldre end 30 dage

Man kan bruge ligeså meget strøm, som det skal være, hvis man skal presse de sidste procentpoints ydelse ud af et neuralt netværk.

Det er konsekvensen af ny dansk forskning.

Mikkel Abrahamsen fra DIKU har sammen med kolleger fra tyske og hollandske universiteter vist, at træning af deep learning-systemer er et problem i kompleksitetsklassen ∃R, ‘existential theory of the reals’ (ETR).

Den indsigt giver anledning til bekymring hos Mikkel Abrahamsen, med tanke på dagens klima- og energiforsyningsproblemer.

Få fuld adgang til DataTech
DataTech er til professionelle, der arbejder med data og analytics. Få tilsendt tilbud
Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
2 kommentarer.  Hop til debatten
Debatten
Log ind for at deltage i debatten.
settingsDebatindstillinger
1
3. marts kl. 04:15

Dybt fascinerende læsning.

Man kan dog ikke lade være med at spørge sig selv om. hvor godt disse algoritmer udnytter hardwaren og hvor flaskehalsen er?

Med flere milliarder parametre er det klart, at dagens CPU og GPU kredse ikke slår til. CPUer fordi de har alt for lidt cache, GPUer fordi de måske den forkerte type memory. Dynamiske RAM, de såkaldte DDR5-DIMM kredse, skal måske udskiftes med "statisk" RAM, som den man bruger i CPU-cache. Man må udvikle helt nye "SAMM-chips" og superkøling til dem. Det er jo rent gætværk fra min side, men en opfølgning med detaljer om HW-udnyttelsesgrad vil være meget interessant.

Det er i hvert fald gået op for mig, hvorfor "man forventer", at datacentres energiforbrug vokser fra 2% af elproduktionen i dag til 20% om få år.