Dette indlæg er alene udtryk for skribentens egen holdning.

Zillow kollapset beviser, at AI ikke er perfekt

Zillow
Illustration: Zillow. Se større version
AI er et kraftfuldt værktøj til forudsigelse. Det virker dog kun, hvis fremtiden er bygget på fortiden. Ting, der sker efter pandemien, fandt ikke sted før; så AI-algoritmer, der er afhængige af historiske data, fungerer næppe særlig godt. Pedram Ataee, AI-arkitekt og ph.d., fortæller i dette indlæg om to erfaringer, han har gjort sig fra Zillow-kollapset.
Synspunkt21. december 2021 kl. 05:45
errorÆldre end 30 dage

Den verdensomspændende coronapandemi har fået mange ting omkring os til at ændre sig - herunder også ejendomsmarkedet. De drastiske ændringer på ejendomsmarkedet gør, at machine learning-modellerne, der bruges til at forudsige huspriser, ikke længere virker. Det er grunden til, at Zillow kollapsede: De stolede for enøjet på deres AI-algoritme til at forudsige huspriser.

Zillows såkaldte house flipping-afdeling - der køber, renoverer og sælger ejendomme med fortjeneste - blev helt lukket, efter de kom frem til en erkendelse af, at deres husprisforudsigelsesalgoritme, også kaldet Zestimate, ikke længere kunne skabe værdi for deres virksomhed. Efter pandemien kunne algoritmen ikke længere med tilstrækkelig præcision forudsige boligpriserne og dermed giver en indikation på, om det er en god ide at købe eller sælge ejendomme. Algoritmen giver stadig estimater - om end på et ikke veloplyst grundlag - om boligpriser for deres onlinebrugere. Spørgsmålet er så: Vil du stadig bruge disse resultater, når du ved, de indeholder fejl?. 

Husprisforudsigelsen er et af de klassiske eksempler på datavidenskabelige applikationer ved siden af »forudsigelse af Titanic-passagerers overlevelse« eller »identifikation af håndskrevne cifre på MNIST-datasæt«. Zillow-kollapset kan ikke tage forudsigelse af huspriser ud af listen over klassiske maskinlæringsudfordringer; det minder os dog om, hvor en AI-løsning kan fejle og fungere. I denne artikel vil jeg gerne dele to lektioner, der er værd at tage fra denne hændelse.

AI fejler, når historien ikke rimer

Historien gentager sig ikke, men rimer ofte. Når det rimer, kan det forudsiges af AI-algoritmer. I denne sammenhæng refererer forudsigelsen til den fremtidige pris på et hus efter renovering inden for et par måneder. Den volatilitet, som vi har oplevet på arbejdsmarkedet eller i forsyningskæden i løbet af de seneste to år, gør forudsigelsen næsten umulig sammenlignet med tiden før pandemien.

AI er et kraftfuldt værktøj til forudsigelse. Det virker dog kun, hvis fremtiden er bygget på fortiden. Ting, der sker efter pandemien, fandt ikke sted før; så AI-algoritmer, der er afhængige af historiske data, fungerer næppe særlig godt. Når et element af tid starter problemet, skal vi være mere forsigtige. Derfor er estimering en lettere opgave sammenlignet med forudsigelse. Her henviser estimering til den aktuelle pris på et hus givet en liste over funktioner såsom beliggenhed, størrelse og byggeår.

Du kan muligvis ikke skabe værdi for en business case ved hjælp af AI på grund af andre udfordringer. Det kan du læse mere om her, hvor du kan finde ud af, hvordan du vurderer levedygtigheden af at bruge AI i en business case.

Ensemble først - neurale netværk senere

Ensemblemetoder er nyttige i branchen, hvor du har brug for hurtige resultater med konstante forbedringer såsom tidlige udviklingsdage. Når man viser, hvordan AI kan skabe værdi for virksomheden, så skal der bruges mere komplekse metoder med højere ydeevne såsom neurale netværk. Jeg har hørt fejlslående historier om, at ledere beder om at udvikle neurale netværksmodeller fra de tidlige dage, mens værdien af en AI-model endnu ikke er bevist. At insistere på at bygge en neural netværksmodel i de tidlige dage øger chancen for fiasko for dit team. 

Men hvorfor? Det gør det mest af alt, fordi det er svært at træne dem ordentligt, eller at værdien af AI-motoren (uanset implementeringsteknikken) endnu ikke er forstået i virksomheden. Skulle da have lyst til at læse endnu en succeshistorie med ensemblemodeller kan du læse denne artikel.

Zestimate - Zillow-algoritmen til at forudsige huspriser - begyndte som et ensemble på omkring 1.000 modeller. Du undrer dig ikke nu! Efter at de var i stand til at skabe værdi med deres AI-algoritme, skiftede de til neurale netværksmodellen. Den nye tilgang reducerede algoritmefejlene med omkring 10 procent, mens den giver mulighed for at opdatere modellen hyppigere. Zillows datavidenskabsteam var endda begyndt at udforske andre AI-teknikker - såsom dokumentforståelse eller naturlig sprogbehandling - før de fejlede i kølvandet på coronapandemien. Det sidste punkt er, når problemet bliver uløseligt som følge af en stor datadrift. Her er det ligegyldigt, hvilken teknik du bruger: Det er ikke noget, du bare lige kan løse! 

Kort sagt, de erfaringer, jeg lærte, var: 'AI fejler, når historien ikke rimer' og 'ensemble først - neurale netværk senere'.

Ingen kommentarer endnu.  Start debatten
Debatten
Log ind for at deltage i den videnskabelige debat.