8 milijardi tokena dnevno natjeralo je AT&T da preispita AI orkestraciju — i smanji troškove za 90%

Kada je vaša prosječna dnevna upotreba tokena 8 milijardi dnevno, imate veliki problem s razmjerom. To je bio slučaj u AT&T-u, a voditelj podataka Andy Markus i njegov tim shvatili su da jednostavno nije izvedivo (ili ekonomično) progurati sve kroz velike modele rezoniranja. Dakle, prilikom izgradnje internog Ask AT&T osobnog asistenta, rekonstruirali su sloj orkestracije. Rezultat: višeagentski skup izgrađen na LangChainu gdje “super agenti” velikog jezičnog modela usmjeravaju manje, temeljne “radničke” agente koji obavljaju sažetiji, svrhovito usmjereni posao. Ovaj fleksibilni sloj orkestracije dramatično je poboljšao kašnjenje, brzinu i vrijeme odziva, rekao je Markus za VentureBeat. Što je najvažnije, njegov tim je zabilježio uštede do 90% troškova. “Vjerujem da je budućnost agentske umjetne inteligencije mnogo, mnogo, mnogo malih jezičnih modela (SLM)”, rekao je. “Smatramo da su mali jezični modeli jednako točni, ako ne i točni, kao veliki jezični model na određenom području domene.”

Nedavno su Markus i njegov tim koristili ovaj re-arhiktirani skup zajedno s Microsoft Azureom za izgradnju i implementaciju Ask AT&T Workflows, grafičkog alata za izradu agenata povuci i ispusti za zaposlenike za automatizaciju zadataka.

Agenti koriste paket vlasničkih alata AT&T koji upravljaju obradom dokumenata, konverzijom prirodnog jezika u SQL i analizom slike. “Dok se tijek rada izvršava, podaci AT&T-a zapravo pokreću odluke”, rekao je Markus. Umjesto da postavljamo općenita pitanja, “mi postavljamo pitanja o našim podacima, a svoje podatke koristimo kako bismo bili sigurni da se fokusiraju na naše informacije dok donose odluke.” Ipak, čovjek uvijek nadgleda “lančanu reakciju” agenata. Sve radnje agenata se bilježe, podaci su izolirani tijekom procesa, a pristup temeljen na ulogama se provodi kada agenti prenose radna opterećenja jedni drugima. “Stvari se doista događaju autonomno, ali čovjek u petlji i dalje osigurava provjeru i ravnotežu cijelog procesa”, rekao je Markus.

Bez pretjerane gradnje, korištenjem ‘zamjenjivih i biranih’ modela

AT&T ne uzima a "izgraditi sve od nule" način razmišljanja, primijetio je Markus; više se oslanja na modele koji su “zamjenjivi i birani” i “nikada ne obnavljaju robu”. Kako funkcionalnost sazrijeva u cijeloj industriji, oni će odbaciti domaće alate umjesto uobičajenih opcija, objasnio je. “Zato što se u ovom prostoru stvari mijenjaju svaki tjedan, ako imamo sreće, ponekad i više puta tjedno”, rekao je. “Moramo biti u stanju pilotirati, priključivati ​​i isključivati ​​različite komponente.” Oni rade “stvarno rigorozne” procjene dostupnih opcija kao i svojih vlastitih; na primjer, njihov Ask Data with Relational Knowledge Graph bio je na vrhu Spider 2.0 točnosti teksta u SQL, a drugi su alati visoko ocijenjeni na BERT SQL mjerilu. U slučaju domaćih agentskih alata, njegov tim koristi LangChain kao temeljni okvir, fino podešava modele sa standardnim dohvaćanjem-augmentiranim generiranjem (RAG) i drugim internim algoritmima, te blisko surađuje s Microsoftom, koristeći funkciju pretraživanja tehnološkog diva za njihovu vektorsku pohranu. U konačnici, međutim, važno je ne samo spojiti agentsku umjetnu inteligenciju ili druge napredne alate u sve samo radi sebe, savjetuje Markus. “Ponekad previše kompliciramo stvari”, rekao je. “Ponekad sam vidio rješenje pretjerano projektirano.” Umjesto toga, graditelji bi se trebali zapitati treba li dati alat zapravo biti agent. To bi moglo uključivati ​​pitanja poput: Koja bi se razina točnosti mogla postići da je to jednostavnije generativno rješenje s jednim okretom? Kako su ga mogli rastaviti na manje komade gdje bi se svaki komad mogao isporučiti “mnogo točnije”?, kako je rekao Markus. Točnost, cijena i odzivnost alata trebali bi biti temeljni principi. “Čak i kad su rješenja postala kompliciranija, ta tri prilično osnovna načela i dalje nam daju dosta smjernica”, rekao je.

Kako ga zapravo koristi 100.000 zaposlenika

Ask AT&T Workflows je uveden za više od 100.000 zaposlenika. Više od polovice kaže da ga koristi svaki dan, a aktivni korisnici prijavljuju povećanje produktivnosti čak do 90%, rekao je Markus. “Provjeravamo, koriste li sustav opetovano? Jer ljepljivost je dobar pokazatelj uspjeha”, rekao je. Agent builder nudi “dva putovanja” za zaposlenike. Jedan je pro-code, gdje korisnici mogu programirati Python iza kulisa, diktirajući pravila kako bi agenti trebali raditi. Drugi je bez koda, s vizualnim sučeljem povuci i ispusti za “prilično lagano korisničko iskustvo”, rekao je Markus. Zanimljivo je da čak i iskusni korisnici gravitiraju potonjoj opciji. Na nedavnom hackathonu namijenjenom tehničkoj publici, sudionici su mogli birati između oba, a više od polovice odabralo je niski kod. “Ovo je bilo iznenađenje za nas, jer su svi ti ljudi bili vrlo kompetentni u programskom aspektu”, rekao je Markus. Zaposlenici koriste agente za razne funkcije; na primjer, mrežni inženjer može izgraditi niz njih za rješavanje upozorenja i ponovno povezivanje korisnika kada izgube vezu. U ovom scenariju, jedan agent može povezati telemetriju kako bi identificirao mrežni problem i njegovu lokaciju, izvukao zapise promjena i provjerio postoje li poznati problemi. Zatim, može otvoriti kartu problema. Drugi bi agent tada mogao smisliti načine za rješavanje problema, pa čak i napisati novi kod da ga zakrpi. Nakon što se problem riješi, treći agent može napisati sažetak s preventivnim mjerama za budućnost. “The [human] inženjer bi nadgledao sve to, pazeći da agenti rade prema očekivanjima i poduzimaju prave radnje,” rekao je Markus.

Kodiranje temeljeno na umjetnoj inteligenciji je budućnost

Ta ista inženjerska disciplina — razbijanje posla na manje, namjenski građene dijelove — sada preoblikuje način na koji AT&T sam piše kod, kroz ono što Markus naziva "Kodiranje potaknuto umjetnom inteligencijom."

Usporedio je proces s RAG-om; razvojni programeri koriste agilne metode kodiranja u integriranom razvojnom okruženju (IDE) zajedno s arhetipovima izrade “specifičnim za funkcije” koji određuju kako bi kod trebao komunicirati. Izlaz nije labav kod; kod je “vrlo blizu proizvodnog stupnja”, i mogao bi postići tu kvalitetu u jednom krugu. “Svi smo radili s vibe kodiranjem, gdje imamo agentsku vrstu uređivača koda”, primijetio je Markus. Ali kodiranje potaknuto umjetnom inteligencijom “eliminira puno ponavljanja naprijed-natrag koje biste mogli vidjeti u vibe kodiranju.” On ovu tehniku ​​kodiranja vidi kao “opipljivo redefiniranje” ciklusa razvoja softvera, u konačnici skraćujući vremenske rokove razvoja i povećavajući izlaz koda proizvodne razine. Netehnički timovi također se mogu uključiti u akciju, koristeći upute jednostavnim jezikom za izradu softverskih prototipova. Njegov je tim, na primjer, upotrijebio tehniku ​​za izradu internog odabranog podatkovnog proizvoda u 20 minuta; bez umjetne inteligencije, izgradnja bi trajala šest tjedana. “Razvijamo softver s njim, modificiramo softver s njim, bavimo se znanošću podataka s njim, radimo analitiku podataka s njim, radimo podatkovni inženjering s njim”, rekao je Markus. “Dakle, to je promjena igre.”

Web izvor