Zašto LinkedIn kaže da sumpting nije bio početak – a mali modeli bili su otkriće

LinkedIn je vodeći u sustavima za preporuku AI-a, koji ih je razvio u posljednjih 15 i više godina. Ali doći do niza preporuka sljedeće generacije za tražitelje posla sutrašnjice zahtijevala je potpuno novu tehniku. Tvrtka je morala gledati dalje od gotovih modela kako bi postigla sljedeću razinu točnosti, latencije i učinkovitosti.

“Jednostavno nije postojao način na koji bismo to mogli učiniti promptom”, kaže Erran Berger, potpredsjednik proizvodnog inženjerstva na LinkedInu, u novom S onu stranu pilota podcast. “Nismo to čak ni pokušali za sustave preporuke sljedeće generacije jer smo shvatili da nije početnik.”

Umjesto toga, njegov se tim odlučio razviti vrlo detaljan dokument o politici proizvoda kako bi fino podesio inicijalno masivni model od 7 milijardi parametara; koji je zatim dalje destiliran u dodatne modele nastavnika i učenika optimizirane na stotine milijuna parametara.

Tehnika je stvorila ponovljivu kuharicu koja se sada ponovno koristi u LinkedInovim AI proizvodima.

“Usvajanje ovog postupka ocjenjivanja od početka do kraja dovest će do značajnog poboljšanja kvalitete lajkova koje vjerojatno nismo godinama vidjeli ovdje na LinkedInu”, kaže Berger.

Zašto je destilacija s više nastavnika bila ‘proboj’ za LinkedIn

Berger i njegov tim krenuli su u izgradnju LLM-a koji bi mogao tumačiti pojedinačne upite o poslovima, profile kandidata i opise poslova u stvarnom vremenu, i to na način koji odražava LinkedInovu politiku proizvoda što je točnije moguće.

Radeći s timom za upravljanje proizvodima tvrtke, inženjeri su naposljetku izradili dokument od 20 do 30 stranica u kojem se ocjenjuju parovi opisa posla i profila “u mnogim dimenzijama”.

“Napravili smo mnogo, mnogo ponavljanja na ovome”, kaže Berger. Taj dokument o politici proizvoda zatim je uparen sa “zlatnim skupom podataka” koji se sastoji od tisuća parova upita i profila; tim je to unio u ChatGPT tijekom generiranja podataka i eksperimentiranja, potičući model tijekom vremena da nauči parove bodovanja i na kraju generira mnogo veći skup sintetičkih podataka za obuku modela učitelja sa 7 milijardi parametara.

Međutim, kaže Berger, nije dovoljno imati LLM koji radi samo na politici proizvoda. “Na kraju dana, to je sustav za preporuku i moramo malo predvidjeti i personalizirati klikove.”

Stoga je njegov tim upotrijebio početni model nastavnika usmjeren na politiku proizvoda za razvoj drugog modela nastavnika usmjerenog na predviđanje klikova. Koristeći ta dva, dodatno su destilirali model od 1,7 milijardi parametara za potrebe obuke. Taj konačni studentski model prošao je kroz “mnogo, mnogo treninga” i optimiziran je “u svakoj točki” kako bi se smanjio gubitak kvalitete, kaže Berger.

Ova tehnika destilacije s više nastavnika omogućila je timu da “postigne puno afiniteta” prema izvornoj politici proizvoda i “dohvati” predviđanje klikova, kaže on. Također su bili u mogućnosti “modularizirati i komponentizirati” proces obuke učenika.

Razmotrite to u kontekstu agenta za chat s dva različita modela učitelja: jedan obučava agenta o točnosti odgovora, drugi o tonu i načinu na koji treba komunicirati. Te dvije stvari su vrlo različiti, ali ključni ciljevi, napominje Berger.

“Do sada ih miješajući, dobivate bolje rezultate, ali ih i samostalno ponavljate”, kaže. “To je za nas bio napredak.”

Promjena načina na koji timovi rade zajedno

Berger kaže da ne može podcijeniti važnost usidrenosti u politici proizvoda i iterativnom procesu ocjenjivanja.

Dobivanje “stvarno, stvarno dobrih pravila proizvoda” zahtijeva prevođenje stručnosti domene upravitelja proizvoda u objedinjeni dokument. Povijesno gledano, primjećuje Berger, tim za upravljanje proizvodima bio je fokusiran na strategiju i korisničko iskustvo, ostavljajući pristupe modeliranja iteracija inženjerima ML-a. Sada, međutim, dva tima rade zajedno kako bi se “uključili” i stvorili usklađeni model učitelja.

“Način na koji menadžeri proizvoda sada rade s inženjerima strojnog učenja jako se razlikuje od svega što smo radili prije”, kaže on. “To je sada nacrt za sve AI proizvode koje radimo na LinkedInu.”

Pogledajte cijeli podcast čuti više o:

• Kako je LinkedIn optimizirao svaki korak procesa istraživanja i razvoja kako bi podržao brzinu, što je dovelo do stvarnih rezultata s danima ili satima, a ne tjednima;

• Zašto bi timovi trebali razviti cjevovode za mogućnost priključivanja i eksperimentiranje te isprobati različite modele za podršku fleksibilnosti;

• Stalna važnost tradicionalnog inženjerskog otklanjanja pogrešaka.

Također možete slušati i pretplatiti se S onu stranu pilota na Spotify, Jabuka ili gdje god dobijete svoje podcaste.

Web izvor