Rollen som machine learning engineer eksisterer ikke om 10 år

Landskabet skifter hurtigt.
Brødtekst

Machine learning er ved at overgå til at blive en almindelig del af enhver softwareingeniørs værktøjssæt.

I ethvert felt får vi specialiserede roller i de tidlige dage, som bliver erstattet af almindelige roller over tid. Og det ser ud til, at dette er endnu et eksempel på netop det.

Lad os se på det.

'Machine learning engineer' er en rolle, der er kommet som en konsekvens af den enorme brændstofindsprøjtning af hype, som AI og Data Science har fået i virksomhederne. I de tidlige dage af machine learning var det en meget nødvendig rolle. Og den gav et god en lønpose til mange! Men machine learning engineers har påtaget sig mange forskellige roller, afhængigt af hvem du spørger.

Puristerne blandt os siger, at en machine learning engineers er nogle, der tager modeller ud af laboratoriet og i produktion. De skalerer machine learning-systemer, omdanner referenceimplementeringer til produktionsklar software og krydser ofte til Data Engineering. De er typisk stærke programmører, der også har en vis grundlæggende viden om de modeller, de arbejder med.

Men dette lyder meget som en almindelig softwareingeniør.

Spørg nogle af de topteknologiske virksomheder, hvad machine learning engineer betyder for dem, og du kan få 10 forskellige svar fra 10 forskellige personer. Dette burde ikke være overraskende. Dette er en relativt ny rolle, og de mennesker, der slår disse job op, er ledere, ofte med mange år på bagen, som ikke har tid (eller vilje) til at forstå rollen.

Her er et par krav fra stillingsfortegnelser fra nogle af de topteknologiske virksomheder, og bemærk, hvor vidt forskellige de er:

Denne første er krydret. Er du sikker på, at dette ikke er en forsker? Hvordan er dette en ML-engineer?

  • Ph.d. i matematik, statistik, driftsforskning. Kendskab til R, SQL og moderne Machine Learning-teknikker.

Denne næste er mere on-brand. Og det kommer fra toppen, så det burde ikke være en overraskelse.

  • BS eller MS i datalogi. 1-5 års arbejde eller akademisk erfaring inden for softwareudvikling. Eksponering for Computer Vision, NLP osv. er et plus.

Og til sidst udborer du din stereotype ML-engineer-udstationering.

  • BS/MS i datalogi. 3 eller flere år med opbygning af produktionsmaskineuddannelsessystemer og effektiv kode. Erfaring med Big Data er et plus.

Nogle virksomheder har startet en ny tilgang, og jeg tror, ​​de fleste vil følge.

Fremgangsmåden er at anføre en softwareingeniør-rolle med eksponering for machine learning som et kernekrav + et par års erfaring som en foretrukken kvalifikation. Arbejdsgivere vil foretrække ingeniører med erfaring med at opbygge og skalere systemer, uanset om det var baseret på machine learning eller anden teknologi.

En ML-engineer er nødvendig, så længe machine learning-forståelse er sjælden og har en høj adgangsbarriere.

Det er min overbevisning, at rollen som ML-engineer helt vil blive overtaget af den generelle softwareingeniør. Det overgår til en standardteknisk rolle, hvor ingeniøren vil få en specifkations- eller referenceimplementering fra nogen ovenfra, omdanne den til produktionskode og skalere til applikationer.

For tiden findes der mange maskinelæringsingeniør-roller i dette underlige rum, hvor vi angriber problemer med ML, der bare ikke er blevet angrebet før. Som følge heraf er maskinelæringsingeniører i mange tilfælde halvt forsker og halvt ingeniør. Jeg har fundet min del af ML-engineers, der spiller på tværs af hele softwarestakken. Jeg har stødt på andre, der har et mere snævert sæt evner, men bruger mere tid på at læse nye forskningsartikler og omdanne dem til brugbar kode.

Vi er ved et underligt vejkryds, hvor vi definerer, hvor medlemmerne af vores hold passer ind i puslespillet.

Som en konsekvens af den måde, vi arbejder på, plejer vi at skubbe os ind i diskussioner og sidde i møder, uanset om det er kernen i vores ekspertise. Vi accepterer enhver mødeinvitation ... Det er min opfattelse, at ML-engineers hører til i slutningen af ​​opbygningen af ​​en referenceimplementering og har ansvaret for at gøre noget maskinlæring til produktionskode.

Inden længe vil de fleste virksomheder have kun lidt behov for forskningsindsatser for at få deres projekter til målstregen. Kun nichebrugssager og dyb tekniske projekter vil kræve et specielt skillset. Ingeniører forbruger API'er, og verden går videre; machine learning bliver et almindeligt værktøj i hver nye ingeniørs værktøjssæt. Vi ser allerede dette ved mere og mere eksponering af machine learning på vores universiteter. Gå på et machine learning-kursus på et universitet, og det er fyldt til randen. Næsten hver kandidat vil forlade universitetet med en vis eksponering for området.

Vi kan tegne en analogi til blockchain, hvor det blev hot med en distribuerede systemingeniør. Langt de fleste blockchain-projekter, siden Nakamotos whitepaper udkom, har brugt deres bestræbelser på at bygge den grundlæggende teknologi og infrastruktur. For at gøre dette skulle du have utroligt stærke tekniske færdigheder, som oftest beskrevet som en distribueret systemingeniør. Nu ser vi endelig et skift, hvor tingene bliver abstraherede, virksomheder begynder at finde use cases, og ingeniøren kan nu oprette nye use cases ved hjælp af blockchain. Vi ser det samme generelle skift i AI / ML.

Nogle gyldige modargumenter:

  • Det er muligt, at Silicon Valley-temaet 'En API til at styre dem alle' er falsk, og maskinlæring altid vil kræve en vis grad af tilpasning på infrastrukturniveau. Det er min opfattelse, at hvad HuggingFace er for NLP, vil ske med ethvert andet domæne. Vi vil være i stand til at erobre de fleste brugssager med et simpelt API.
  • 'Det er bare en titel, dude. ML-engineer betyder bare en person med en tungere baggrund i matematik og statistik end din gennemsnitlige kandidat fra datalogi.' Helt enig. Det er bare en titel. Men hvis denne rolle ikke længere er nødvendig, findes titlen så? Men du har ret, det er bare en titel.
  • 'I min organisation er det slet ikke, hvad ML-engineer betyder.' Lad mig vide, hvad det betyder for din organisation, så jeg kan lære. Jeg overvåger konstant feltet for at forstå, hvor tingene er, og hvor de er på vej hen. Jeg vil meget gerne høre dine synspunkter.
  • 'Det er bare en titel. Og hvad så?" Du har ret, men det er sjovt at overveje under alle omstændigheder.

Et af mine yndlingssvar til artiklen fra Varii på Twitter er:

'Som du sagde: Det er en titel. De fleste arbejdsgivere forventer, at du har overlappende færdigheder. Jeg har lyst til, at det til sidst ikke handler om, hvem der udslettes, det handler om, hvem der er alsidig nok til konstant at tilpasse sig den stadigt skiftende branche.'

Der er masser af gode input fra det bredere fællesskab, som jeg lærer af. Men min mening vil aldrig ændre sig om en ting: Hvis du brænder for noget, betyder det ikke noget, hvad der sker med en titel, et felt eller en trend – der vil altid være et sted for dig at forfølge din lidenskab og opbygge seje ting.

Pas på dig selv og bliv ved med at bygge!

Jeg har startet en (gratis) analysegruppe kaldet Dataset Daily, hvor vi deler et datasæt hver mandag og koder hele ugen.

Lad os fortsætte samtalen på Twitter.

Oversat med tilladelse af Luke Posey. Orginalt opslag kan findes her.