Primer: Google-forskere finder ny transformer-variant med evolution

transformer
Illustration: anatolir, bigstock. Se større version
Primer er tre til fire gange hurtigere at træne end en baseline transformer, skriver forskerne. 
28. september 2021 kl. 06:12
errorÆldre end 30 dage

Transformer-arkitekturen har som grundstenen i modeller som BERT og GPT taget NLP-industrien med storm, og leverer stadig flere og flere imponerende resultater på andre områder som vision og proteinfoldning. 

Men teknikken er også notorisk beregningstung. Ifølge et paper fra det israelske selskab AI21 kan man ende med at betale op til 1,5 millioner dollars for at træne en model med 1,5 milliarder parametre. Til sammenligning har den fulde version af GPT-3 175 parametre. 

Læs også: Proteiner, billeder og stemmegenkendelse: Transformers kan meget mere end NLP

Få fuld adgang til DataTech

DataTech skriver til dig, der arbejder professionelt med data og analytics. Vi giver dig inspirerende cases, nyheder og debat om alt fra machine learning-modeller til dataetik. Få tilsendt tilbud

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
Debatten
Log ind for at deltage i den videnskabelige debat.