Prætrænede kæmpemodeller giver risiko for algoritmisk indavl

foundation models
Illustration: Nanna Skytte. Se større version
Store, deep learning modeller trænet på uanede mængder ukurateret data, er i stand til at løse en lang række opgaver, de aldrig har set før. Men alle AI-systemer, der bygger på dem, risikerer at nedarve deres fejl.
Tendens16. december 2021 kl. 03:27
errorÆldre end 30 dage

Store, prætrænede modeller kan væsentlig sænke kravene til at skabe en tilstrækkeligt god AI-model. Det kræver langt mindre computerkraft at fintune en prætrænet model, end at træne en tilsvarende model fra bunden, og gør det muligt at bygge AI-systemer til områder, hvor der ellers aldrig kunne indsamles nok data. 

Men i takt med at modellerne bliver større, vokser også ofte deres bias. Og mængden af data, der skal til at træne dem, vokser, ind til databaserne er så store, at intet menneske kan gennemskue, hvad modellerne fodres med. Prisen for at træne dem vokser, så det stort set kun er tech-giganter, der har råd. 

Alt i mens bygges flere og flere AI-systemer oven på den samme lille gruppe, effektive prætrænede modeller. Det betyder, at forbedringer til en af de store modeller, kan give forbedringer på en lang række NLP-opgaver. 

Men det kan også lede til en form for algoritmisk indavl, hvor søgemaskiner, chatbots, oversættelsestjenester med videre risikerer at arve den samme problematiske bias, som findes i nogle få store, prætrænede modeller.

Få fuld adgang til DataTech

DataTech skriver til dig, der arbejder professionelt med data og analytics. Vi giver dig inspirerende cases, nyheder og debat om alt fra machine learning-modeller til dataetik. Få tilsendt tilbud

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
Debatten
Log ind for at deltage i den videnskabelige debat.