AI-etiker revser 'rebranding' af store sprogmodeller: GPT-3 er et smuldrende fundament for AI

Margaret Mitchell
Illustration: Margaret Mitchell. Se større version
Margaret Mitchell kritiserer Stanford-forskeres omtale af store sprogmodeller som fundamentale modeller. Det bliver en selvopfyldende profeti, lyder kritikken.
Tech fokus26. august 2021 kl. 04:20
errorÆldre end 30 dage

Over 100 forskere fra Stanfords toneangivende AI-labs brugte i sidste uge et 160-sider langt whitepaper til at beskrive, hvad de ser som et igangværende paradigmeskift inden for AI-udvikling. 

Store sprogmodeller - som BERT, GPT-3 og den multimodale CLIP - ændrer AI-udvikling til at basere sig på færre, men mere generelle modeller, der kan løse mange forskellige opgaver med mange forskellige datatyper, argumenterer forskerne, som i samme ombæring samler de store sprogmodeller i et nyt paraplybegreb - foundational models. 

Læs også: Over 100 forskere om fundamentale modeller som GPT-3: Det er et paradigmeskift, vi ikke forstår

Men den rebranding falder en række AI-etikere for brystet - ikke mindst Margaret 'Meg' Mitchell, der natten til onsdag dansk tid talte til en Stanford-workshop om de fundamentale modeller. 

»At sige, at noget er fundamentet, skaber en selvopfyldende profeti, fordi målet bliver, at de her modeller, skal være fundamentet. Men de her modeller har klare risici, de centraliserer magt til dem, der er privilegerede nok til at træne dem. Så hvorfor er det en god ide, at fastcementere dem som et fundament?« spurgte Mitchell.

Ikke brugbar framing

Margaret Mitchell har udgivet adskillige artikler om bias i machine learning og ikke mindst NLP, og var grundlægger og leder af Googles Ethical AI Team - indtil hendes dramatiske fyring tidligere på året. Mitchell var medforfatter på en kritisk artikel om store sprogmodeller, der i december ledte til at AI-etiker Timnit Gebru blev fyret fra Google. 

Læs også: Google fyrer endnu en ledende AI-etiker

I dag er Mitchell ansat hos NLP-kometen Hugging Face, hvor sprogmodeller også er kernen af forretningen. Ikke desto mindre er hun meget imod Stanfords framing af sprogmodeller som den centrale og afgørende front for fremtidig AI. 

»Jeg er ikke enig i, at de skal fortolkes som et fundament, jeg ser dem som støttemodeller. De har ikke vist sig at være ideelle som fundament, hvilket jeg er med på er en del af pointen,« siger Mitchell med henvisning til, at Stanford-forskernes whitepaper bruger en rum mængde sider på at beskrive risici og slagsider forbundet med modellerne.  

»Men det leder også til spørgsmålet om, hvorfor denne framing er specielt brugbar. Hvis vi skal bruge et ord som fundament, hvorfor så ikke have mennesket som fundament,« siger Margaret Mitchell. 

Når et akademisk kraftcenter som Stanfords HAI-center (Human-Centered AI) sætter sprogmodeller forrest på scenen, så har det betydning, understreger Mitchell - betydning for, hvilke artikler bliver udgivet, hvilke ph.d.-projekter, der bliver skrevet, hvilke forskere, der bliver fastansat. 

»Det er alt det, som kommer til at ske, når du centrere sprogmodeller som havende de her fundamentale fordele. Alle andre ting bliver sidespor.«

Dårlig data bliver norm

Stanford-paperet nævner modeller som GPT-3, BERT og CLIP som specifikke eksempler på fundamentale modeller. 

Fællesnævner for de tre er en tvivlsom tilgang til træningsdata, mener Margaret Mitchell. 

»Jeg udledte lidt, at en foundational model måske er en model, trænet på store mængder data skrabet fra nettet uden samtykke og med begrænset respekt for copyright og persondata,« siger hun.  

»Det synes ikke at være et ideelt sted at starte for at bygge et fundament.«

Læs også: Farlig papegøjesnak: Her er NLP-artiklen, der ledte Google til at fyre AI-etiker

Modellerne er blandt andet trænet på korpuset C4, hvor i en stor kilde til tekst er engelsk Wikipedia. Det kan forsåvidt lyde som et lødigt sted at samle sin tekst-data op, men forskning har vist, at mænd står bag for over 80 procent af indholdet, ligesom kun en fjerdedel af bidragsydere er over 30 år, pointerer Mitchell. 

Dertil kommer den mere åbenlyse underlødige data fra hjemmesider som Reddit, hvor sprogbrugen er meget langt fra det, vi ønsker at se en sprogmodel lære fra.  

»Folk er ikke underlagt regler mod diskrimination, når de skriver online. Men det bør modeller være,« siger Margaret Mitchell. 

»Folk der arbejde med AI etik har i stigende grad advaret om, at der er brug for et kritisk arbejde om den data, der bliver brugt i AI, og de menneskerettigheder som modellerne berører. Vi er ikke klar til som felt, at bruge opmærksomhed og founding på at optimere store sprogmodeller, når fundamentet vi bygger på, ikke er det rigtige.«

Michell frygter, at den eksisterende tilgang til brugen af træningsdata hurtigere bliver en fasttømret norm, når en institution som Stanford peger på sprogmodellerne, som fremtiden for AI-udvikling. 

Rehabilitering af sprogmodeller

Margaret Mitchell er ikke alene om at være skeptisk overfor Stanfords rebranding af store sprogmodeller. 

Meredith Whittaker, der er Minderoo Research Professor ved New York University samt medstifter og fakultetsdirektør for AI Now Institute, understreger for eksempel på Twitter, at modellerne under deres 'gamle' navn har været udsat for meget fortjent kritik. 

»This rebrand reads as a way to distance these models from that criticism, while rehabilitating them as inevitable, cutting-edge, and the product of "scientific progress" not concentrated industry resources,« skriver hun. 

Whittaker pointerer også, at selvom whitepaperet nævner udfordringer med modeller, så er der ikke nogle beviser for, at der kan findes løsninger på f.eks. modellernes klima-påvirkning og racistiske eller sexisistiske biaser. 

Vær kritisk over for, hvor pengene kommer fra

Margaret Mitchell understregede, at hun ikke talte imod at fortsætte arbejdet med sprogmodeller generelt. 

»Det er et felt, hvor regulering kan komme i spil ift. hvad der kan gøre stilgængeligt, og hvad der ikke skal sprede sig. Det gode ved restriktioner, er at de rent faktisk får folk til at udvikle løsninger, der lever op til restriktionerne.«

Mitchell lagde heller ikke skjul på, at hun var tøvende med at sige ja til invitationen til Stanford-workshoppen, og fremhævede både manglende diversitet i forskningsgruppe og funding fra IT-kæmper som årsag.

»Hvis vi bekymrer os om Human Centered AI, så skal vi prioritere, hvem mennesker er. Vi skal prioritere, hvem der er velkommen. Og vi er nødt til at tænke kritisk over den bias vi overtager ved at arbejde med de selskaber, der støtter vores arbejde. Og hvad deres mål og motivation er for at støtte vores arbejde.«

Ingen kommentarer endnu.  Start debatten
Debatten
Log ind for at deltage i den videnskabelige debat.