Enterprise AI programi rijetko propadaju zbog loših ideja. Češće zapnu u neupravljanom pilot modu i nikada ne dostignu proizvodnju. Na nedavnom događaju VentureBeat, tehnološki čelnici iz MassMutual i Mass General Brigham objasnili su kako su izbjegli tu zamku – i kako izgledaju rezultati kada disciplina zamijeni širenje.
U MassMutualu, rezultati su konkretni: 30% povećanja produktivnosti programera, vrijeme rješavanja IT help deska smanjeno je s 11 minuta na jedan, a pozivi korisničkoj službi smanjeni su s 15 minuta na samo jedan ili dva.
“Uvijek počinjemo s tim zašto nam je stalo do ovog problema?” Sears Merritt, voditelj poslovne tehnologije i iskustva MassMutuala, rekao je na događaju. “Ako riješimo problem, kako ćemo znati da smo ga riješili? I kolika je vrijednost povezana s tim?”
Sadržaj objave
Definiranje metrike, uspostavljanje jake povratne sprege
MassMutual, 175 godina stara tvrtka koja opslužuje milijune vlasnika polica i kupaca, gurnula je AI u proizvodnju u cijelom poslovanju — korisničkoj podršci, IT-u, akviziciji kupaca, preuzimanju rizika, servisiranju, potraživanjima i drugim područjima.
Merritt je rekao da njegov tim slijedi znanstvenu metodu, počevši s hipotezom i testiranjem ima li ishod koji će opipljivo pokrenuti posao naprijed. Neke su ideje sjajne, ali mogu biti “neuhvatljive u poslu” zbog čimbenika kao što su nedostatak podataka ili pristupa ili regulatorno ograničenje.
“Nećemo ići dalje s idejom dok ne postanemo kristalno jasni o tome kako ćemo mjeriti i kako ćemo definirati uspjeh.”
U konačnici, na različitim je odjelima i voditeljima da definiraju što kvaliteta znači: odaberite metriku i definirajte minimalnu razinu kvalitete prije nego što se alat stavi u ruke timova i partnera.
Ta početna točka stvara brzu petlju povratnih informacija. “Stvari za koje smatramo da nas usporavaju su tamo gdje nema zajedničke jasnoće o tome koji ishod pokušavamo postići”, što može dovesti do zbunjenosti i stalnog ponovnog prilagođavanja, rekao je Merritt. “Ne krećemo u proizvodnju dok nema poslovnog partnera koji kaže: ‘Da, to radi’.”
Njegov je tim strateški usmjeren na procjenu alata u nastajanju i “izuzetno strog” kada testira i mjeri što "dobro" sredstva. Na primjer, provode ocjenjivanje povjerenja kako bi smanjili stope halucinacija, uspostavili pragove i kriterije ocjenjivanja te nadzirali odstupanje značajki i rezultata.
Merritt također posluje s politikom neobvezivanja — što znači da se tvrtka ne ograničava na korištenje određenog modela. Ima ono što on naziva “nevjerojatno heterogenim” tehnološkim okruženjem koje kombinira najbolje modele u nizu uz glavna računala koja rade na COBOL-u. Ta fleksibilnost nije slučajna. Njegov tim izgradio je uobičajene slojeve usluga, mikroservise i API-je koji se nalaze između sloja umjetne inteligencije i svega što se nalazi ispod — tako da kada se pojavi bolji model, njegova zamjena ne znači da treba početi ispočetka.
Jer, objasnio je Merritt, “najbolji danas mogu biti najgori sutra, a mi se ne želimo postaviti tako da zaostajemo.”
Plijevi umjesto da tisuću cvjetova procvjeta
Masovni general Brigham (MGB) je sa svoje strane uzeo više pristup prskanja i molitve – u početku.
Otprilike 15.000 istraživača u neprofitnom zdravstvenom sustavu koristi AI, ML i duboko učenje u posljednjih 10 do 15 godina, rekao je tehnički direktor Nallan “Sri” Sriraman na istom VB događaju.
Ali prošle je godine donio hrabar izbor: njegov je tim zatvorio niz nekontroliranih AI pilota. U početku, “jesmo pratili cvjetanje tisuću cvjetova [methodology]ali nismo imali tisuću cvjetova, imali smo vjerojatno nekoliko desetaka cvjetova koji su pokušavali procvjetati”, rekao je.
Poput Merrittovog tima u MassMutualu, MGB se okrenuo holističkom pogledu, ispitujući zašto razvijaju određene alate za određene odjele tijeka rada. Pitali su se koje sposobnosti žele i trebaju te koja su ulaganja potrebna.
Sriramanov tim također je razgovarao sa svojim primarnim pružateljima platformi — Epic, Workday, ServiceNow, Microsoft — o njihovim planovima. Ovo je bio “ključni trenutak”, primijetio je, jer su shvatili da grade interne alate koje dobavljači već pružaju (ili su ih planirali uvesti).
Kao što je Sriraman rekao: “Zašto ga gradimo sami? Već smo na platformi. To će biti u tijeku rada. Iskoristite to.”
Ipak, tržište je još uvijek u povoju, što može dovesti do teških odluka. “Analogija koju ću dati je kada zamolite šest slijepaca da dodirnu slona i kažu, kako ovaj slon izgleda?” rekao je Sriraman. “Dobit ćete šest različitih odgovora.”
Nema ništa loše u tome, primijetio je; samo što svi otkrivaju i eksperimentiraju dok se krajolik stalno mijenja.
Umjesto okruženja divljeg zapada, Sriramanov tim distribuira Microsoft Copilot korisnicima diljem tvrtke i koristi “malu zonu slijetanja” gdje mogu sigurno testirati sofisticiranije proizvode i kontrolirati upotrebu tokena.
Također su počeli “svjesno ugrađivati AI prvake” u poslovne grupe. “Ovo je na neki način obrnuto od puštanja tisuću cvjetova da cvjetaju, pažljivo sade i njeguju”, rekao je Sriraman.
Opservabilnost je još jedno važno pitanje; on opisuje nadzorne ploče u stvarnom vremenu koje upravljaju pomicanjem modela i sigurnošću i omogućuju IT timovima da upravljaju umjetnom inteligencijom “malo pragmatičnije”. Praćenje zdravlja ključno je za sustave umjetne inteligencije, istaknuo je, a njegov je tim uspostavio načela i politike oko upotrebe umjetne inteligencije, a da ne spominjemo najmanje privilegije pristupa.
U kliničkim uvjetima, zaštitne ograde su apsolutne: sustavi umjetne inteligencije nikada ne donose konačnu odluku. "Uvijek će biti liječnik ili liječnički pomoćnik koji će donijeti odluku," rekao je Sriraman. Naveo je generiranje radioloških izvješća kao jedno područje u kojem se AI intenzivno koristi, ali gdje se radiolog uvijek potpisuje.
Sriraman je bio jasan: "Ne smijete učiniti ovo: Ne prikazujte PHI [protected health information] u Perplexityju. Tako jednostavno, zar ne?"
I, što je važno, moraju postojati sigurnosni mehanizmi. “Trebamo veliki crveni gumb, ubij ga”, naglasio je Sriraman. “Ne stavljamo ništa u operativno okruženje bez toga.”
U konačnici, iako je agentska umjetna inteligencija transformativna tehnologija, poslovni pristup njoj ne mora biti dramatično drugačiji. “Nema ništa novo u vezi s ovim”, rekao je Sriraman. “Možete zamijeniti riječ BPM [business process management] iz 90-ih i 2000-ih s umjetnom inteligencijom. Primjenjuju se isti koncepti.”