NeurIPS-eksperiment: Succes på ledende AI-konference afgøres ofte af tilfældigheder

NeurIPS
Illustration: NeurIPS. Se større version
Der er brug på betydelig overhaling af måden, hvorpå ML-konferencer vurderer forskningsartikler, mener forskere.
Indblik30. november 2021 kl. 02:32
errorÆldre end 30 dage

I 2014 satte forskere sig for at redegøre for konsistensen af den review-proces, der afgør om en forskningsartikel skal accepteres på NeurIPS - en af de vigtigste AI-konferencer i verden. 

Eksperimentet gik ud på at lade en gruppe artikler blive bedømt af to forskellige komiteer for at se, om de kom frem til det samme resultat. Og det gjorde de langt fra. 

Ud af 166 artikler blev 65 accepteret af en af komiteerne - men kun 22 artikler blev accepteret af begge. For 43 artikler var de to komiteer altså uenige om, hvorvidt de skulle afvises eller ej. 

I dette års NeurIPS har arrangørerne gentaget eksperimentet. Og det viser en form for konsistent inkonsistens i review-processen. 

Få fuld adgang til DataTech

DataTech skriver til dig, der arbejder professionelt med data og analytics. Vi giver dig inspirerende cases, nyheder og debat om alt fra machine learning-modeller til dataetik. Få tilsendt tilbud

Abonnementsfordele
vpn_key
Fuld adgang til DataTech
Alt indhold på DataTech er åbent for dig, så du kan nyde det fra din computer, tablet eller mobil.
drafts
Kuraterede nyhedsbreve
Nyheder, interviews, tendenshistorier og meget mere, leveret til din indbakke.
thumb_up
Adgang til debatten
Deltag i debatten med andre professionelle.
Debatten
Log ind for at deltage i den videnskabelige debat.