NLP uden tekst: Facebooks nye sprogmodel lærer fra rå lyd

Stemme data
Illustration: Tartila / Bigstock. Se større version
Tekstfri-NLP kan være vejen frem for sprogteknologi på meget små sprog, mener IT-kæmpen. 
13. september 2021 kl. 09:11
errorÆldre end 30 dage

Facebooks AI-forskere har lavet en NLP-model, der er fuldstændig ligeglad med, hvor meget tekstdata, du kan mønstre. 

De store sprogmodeller som BERT og GPT, der de sidste år har sat et utal af milepæle inden for NLP, er ellers karakteriseret ved at være fodret med ekstreme mængder tekstdata. GPT-3 har - populært sagt - læst hele internettet. 

Men det giver som bekendt også en begrænsning, når det kommer til at sprog med meget lidt tekstdata til rådighed. 

Derfor mener Facebooks AI-forskere også at have fat i den lange ende med en ny sprogmodel, der alene er trænet selv-superviseret på rå lyd - nærmere bestemt 8.000 timers lydbog. 

Få fuld adgang til DataTech

DataTech skriver til dig, der arbejder professionelt med data og analytics. Vi giver dig inspirerende cases, nyheder og debat om alt fra machine learning-modeller til dataetik. Få tilsendt tilbud

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
Debatten
Log ind for at deltage i den videnskabelige debat.