Radi li vaš AI proizvod? Kako razviti pravi metrički sustav

U mom prvom mjestu upravitelja proizvoda za strojno učenje (ML), jednostavno pitanje nadahnuto strastvene rasprave u svim funkcijama i vođama: kako znamo da li ovaj proizvod zapravo radi? Proizvod u pitanju da sam upravljao unutarnjim i vanjskim kupcima. Model je unutarnjim timovima omogućio da identificiraju najbolje probleme s kojima se suočavaju naši kupci kako bi prioritetni mogli dati prioritet pravom skupu iskustava za rješavanje problema s kupcima. S tako složenom mrežom međuovisnosti među unutarnjim i vanjskim kupcima, odabir pravih metrika za snimanje utjecaja proizvoda bilo je presudno za usmjeravanje uspjeha.

Ne praćenje radi li vaš proizvod dobro poput slijetanja aviona bez ikakvih uputa iz kontrole zračnog prometa. Apsolutno nema načina da donosite informirane odluke za svog kupca, a da ne znate što ide ispravno ili pogrešno. Uz to, ako aktivno ne definirate mjerne podatke, vaš će tim identificirati vlastite sigurnosne metrike. Rizik da će imati više okusa metrike “točnosti” ili “kvalitetne” je da će svi razviti vlastitu verziju, što dovodi do scenarija u kojem možda svi ne biste radili na istom ishodu.

Na primjer, kada sam pregledao svoj godišnji cilj i temeljnu metriku s našim inženjerskim timom, neposredna povratna informacija bila je: “Ali ovo je poslovna metrika, već pratimo preciznost i prisjećamo se.”

Prvo identificirajte što želite znati o svom AI proizvodu

Jednom kada se spustite na zadatak definiranja mjernih podataka za svoj proizvod – gdje započeti? Prema mom iskustvu, složenost upravljanja ML proizvodom s više kupaca znači i definiranje mjernih podataka za model. Što koristim za mjerenje djeluje li model dobro? Mjerenje ishoda unutarnjih timova za prioritet lansiranja na temelju naših modela ne bi bilo dovoljno brzo; Mjerenje je li kupac usvojila rješenja koje je preporučio naš model mogao riskirati da izvlačimo zaključke iz vrlo široke metrike usvajanja (što ako kupac nije usvojio rješenje jer je samo želio doći do agensa za podršku?).

Brzo naprijed prema doba velikih jezičnih modela (LLMS)-gdje nemamo samo jedan izlaz iz ML modela, mi imamo i tekstualne odgovore, slike i glazbu kao izlaze. Dimenzije proizvoda koji zahtijevaju metrike sada se brzo povećavaju – formati, kupci, upišite… popis se nastavlja.

Kroz sve svoje proizvode, kad pokušam smisliti metrike, moj prvi korak je destilirati ono što želim znati o njegovom utjecaju na kupce na nekoliko ključnih pitanja. Prepoznavanje pravog skupa pitanja olakšava prepoznavanje pravog skupa mjernih podataka. Evo nekoliko primjera:

1. Je li kupac dobio izlaz? → Metrika za pokrivanje
2. Koliko je trebalo da proizvod pruži izlaz? → Metrika za kašnjenje
3. Je li se korisnik sviđao izlaz? → Metrike za povratne informacije kupaca, usvajanje i zadržavanje kupaca

Jednom kada prepoznate svoja ključna pitanja, sljedeći je korak identificiranje skupa potkapita za signale “unosa” i “izlaz”. Izlazni podaci zaostaju na pokazateljima gdje možete izmjeriti događaj koji se već dogodio. Ulazne metrike i vodeći pokazatelji mogu se koristiti za prepoznavanje trendova ili predviđanje ishoda. Pogledajte u nastavku načine za dodavanje pravih pod-pitanja za zaostajanje i vodeće pokazatelje na gornja pitanja. Ne moraju sva pitanja imati vodeće/zaostale pokazatelje.

1. Je li kupac dobio izlaz? → Pokrivenost
2. Koliko je trebalo da proizvod pruži izlaz? → Latencija
3. Je li se korisnik sviđao izlaz? → Povratne informacije kupaca, usvajanje i zadržavanje kupca
   1. Je li korisnik naznačio da je izlaz ispravan/pogrešan? (izlaz)
   2. Je li izlaz bio dobar/fer? (ulazni)

Treći i posljednji korak je identificiranje metode za prikupljanje mjernih podataka. Većina mjernih podataka prikuplja se u mjeri novim instrumentima putem inženjerstva podataka. Međutim, u nekim slučajevima (poput pitanja 3 gore), posebno za proizvode temeljene na ML -u, imate mogućnost ručnih ili automatiziranih evaluacija koje procjenjuju izlaz modela. Iako je uvijek najbolje razviti automatizirane evaluacije, počevši od ručnih procjena za „bilo je izlazno dobro/pošteno“, a stvaranje rubrike za definicije dobrih, poštenih i ne dobrih pomoći će vam da postavite temelje za rigorozni i testirani postupak automatiziranog evaluacije.

Primjer koristi slučajevi: AI pretraživanje, opisi uvrštavanja

Gornji okvir može se primijeniti na bilo koji proizvod koji se temelji na ML-u kako bi se identificirao popis primarnih mjernih podataka za vaš proizvod. Pretražimo kao primjer.

Pitanje	Metrika	Priroda metrike
Je li kupac dobio izlaz? → Pokrivenost	% sesije pretraživanja s rezultatima pretraživanja prikazane kupcu	Izlaz
Koliko je trebalo da proizvod pruži izlaz? → Latencija	Vrijeme potrebno za prikaz rezultata pretraživanja za korisnika	Izlaz
Je li se korisnik sviđao izlaz? → Povratne informacije kupaca, usvajanje i zadržavanje kupca Je li korisnik naznačio da je izlaz ispravan/pogrešan? (Izlaz) Je li izlaz bio dobar/fer? (Ulazni)	% sesija pretraživanja s povratnim informacijama o rezultatima pretraživanja “palca gore” ili % sesija pretraživanja s klikovima od kupca % rezultata pretraživanja označenih kao “dobar/fer” za svaki termin pretraživanja, po rubrici kvalitete	Izlaz Ulazni

Što kažete na proizvod koji generira opise za popis (bilo da se radi o stavka izbornika u Doordashu ili uvrštavanju proizvoda na Amazonu)?

Pitanje	Metrika	Priroda metrike
Je li kupac dobio izlaz? → Pokrivenost	% popisa s generiranim opisa	Izlaz
Koliko je trebalo da proizvod pruži izlaz? → Latencija	Vrijeme potrebno za generiranje opisa korisniku	Izlaz
Je li se korisnik sviđao izlaz? → Povratne informacije kupaca, usvajanje i zadržavanje kupca Je li korisnik naznačio da je izlaz ispravan/pogrešan? (Izlaz) Je li izlaz bio dobar/fer? (Ulazni)	% unosa s generiranim opisima koji su zahtijevali izmjene iz Tehničkog tima/prodavatelja/kupca % opisa uvrštenih označenih kao ‘dobra/poštena’, po rubrici kvalitete	Izlaz Ulazni

Gore navedeni pristup proširiv je na više proizvoda koji se temelje na ML. Nadam se da će vam ovaj okvir pomoći definirati pravi skup mjernih podataka za vaš ML model.

Sharanya Rao je voditeljica grupnih proizvoda u Intuit.