Početak rada s AI agentima (2. dio): Autonomija, zaštitne mjere i zamke

U našem prva ratanaveli smo ključne strategije za iskorištavanje AI agenata za poboljšanje učinkovitosti poduzeća. Objasnio sam kako, za razliku od samostalnih AI modela, agenti iterativno usavršavaju zadatke koristeći kontekst i alate za poboljšanje rezultata kao što je generiranje koda. Također sam raspravljao o tome kako sustavi s više agenata potiču komunikaciju između odjela, stvarajući jedinstveno korisničko iskustvo i pospješujući produktivnost, otpornost i brže nadogradnje.

Uspjeh u izgradnji ovih sustava ovisi o mapiranju uloga i tijekova rada, kao i o uspostavi zaštitnih mjera kao što su ljudski nadzor i provjere pogrešaka kako bi se osigurao siguran rad. Zaronimo u te kritične elemente.

Zaštitne mjere i autonomija

Agenti podrazumijevaju autonomiju, tako da se različite zaštite moraju ugraditi u agenta unutar sustava s više agenata kako bi se smanjile pogreške, gubitak, pravna izloženost ili šteta kada agenti rade autonomno. Primjena svih ovih zaštitnih mjera na sve agente može biti pretjerana i predstavljati izazov za resurse, ali toplo preporučujem da uzmete u obzir svakog agenta u sustavu i svjesno odlučite koja će im od ovih zaštitnih mjera biti potrebna. Agentu se ne bi smjelo dopustiti da radi samostalno ako je ispunjen bilo koji od ovih uvjeta.

Eksplicitno definirani uvjeti ljudske intervencije

Pokretanje bilo kojeg od skupa unaprijed definiranih pravila određuje uvjete pod kojima čovjek treba potvrditi neko ponašanje agenta. Ta se pravila trebaju definirati od slučaja do slučaja i mogu se deklarirati u agentovom odzivniku sustava — ili u kritičnijim slučajevima upotrebe, mogu se provoditi pomoću determinističkog koda izvan agenta. Jedno od takvih pravila, u slučaju agenta za nabavu, bilo bi: “Svaku kupnju prvo treba provjeriti i potvrditi čovjek. Pozovite svoju funkciju ‘check_with_human’ i nemojte nastaviti dok ne vrati vrijednost.”

Zaštitni agenti

Zaštitni agent može se upariti s agentom koji ima ulogu provjere rizičnog, neetičkog ili nesukladnog ponašanja. Agent se može prisiliti da uvijek provjerava sve ili određene elemente svog ponašanja u odnosu na zaštitnog agenta i da ne nastavi osim ako zaštitni agent ne uzvrati zeleno svjetlo.

Nesigurnost

Naš je laboratorij nedavno objavio a papir o tehnici koja može pružiti mjeru nesigurnosti za ono što generira veliki jezični model (LLM). S obzirom na sklonost LLM-a konfabulaciji (općenito poznato kao halucinacije), davanje prednosti određenom ishodu može agenta učiniti mnogo pouzdanijim. I ovdje postoji trošak koji treba platiti. Procjena nesigurnosti zahtijeva od nas generiranje više izlaza za isti zahtjev kako bismo ih mogli rangirati na temelju sigurnosti i odabrati ponašanje koje ima najmanju nesigurnost. To može usporiti sustav i povećati troškove, pa bi trebalo razmotriti kritičnije agente unutar sustava.

Gumb za isključivanje

Ponekad ćemo morati zaustaviti sve autonomne procese temeljene na agentima. To bi moglo biti zato što nam je potrebna dosljednost ili smo otkrili ponašanje u sustavu koje treba zaustaviti dok mi shvatimo što nije u redu i kako to popraviti. Za kritičnije tijekove rada i procese, važno je da ovo isključivanje ne rezultira zaustavljanjem svih procesa ili da postanu potpuno ručni, stoga se preporučuje da se omogući deterministički rezervni način rada.

Radni nalozi koje je generirao agent

Ne moraju svi agenti unutar agentske mreže biti potpuno integrirani u aplikacije i API-je. Ovo može potrajati neko vrijeme i potrebno je nekoliko ponavljanja da bi se ispravilo. Moja preporuka je da agentima (obično lisnatim čvorovima u mreži) dodate generički alat za rezervirano mjesto koji bi jednostavno izdao izvješće ili radni nalog koji sadrži predložene radnje koje treba poduzeti ručno u ime agenta. Ovo je izvrstan način pokretanja i operacionalizacije mreže agenata na agilan način.

Testiranje

S agentima koji se temelje na LLM-u, dobivamo robusnost po cijenu dosljednosti. Također, s obzirom na neprozirnu prirodu LLM-ova, u tijeku rada imamo posla s čvorovima crne kutije. To znači da trebamo drugačiji režim testiranja za sustave temeljene na agentima od onog koji se koristi u tradicionalnom softveru. Dobra je vijest, međutim, da smo navikli testirati takve sustave, budući da upravljamo organizacijama i radnim procesima vođenim ljudima od zore industrijalizacije.

Dok primjeri koje sam gore pokazao imaju jednu ulaznu točku, svi agenti u sustavu s više agenata imaju LLM kao svoj mozak, pa mogu djelovati kao ulazna točka za sustav. Trebali bismo koristiti zadijeli pa vladaj i prvo testirati podskupove sustava počevši od različitih čvorova unutar hijerarhije.

Također možemo upotrijebiti generativnu umjetnu inteligenciju kako bismo osmislili testne slučajeve koje možemo pokrenuti protiv mreže kako bismo analizirali njezino ponašanje i natjerali je da otkrije svoje slabosti.

Konačno, veliki sam zagovornik sandboxinga. Takve bi sustave prvo trebalo pokrenuti u manjem opsegu unutar kontroliranog i sigurnog okruženja, prije nego što se postupno uvedu kako bi zamijenili postojeće tijekove rada.

Fino podešavanje

Uobičajena zabluda s genom AI je da postaje bolji što ga više koristite. Ovo je očito pogrešno. LLM-i su prethodno obučeni. Rekavši ovo, oni se mogu fino podesiti da na različite načine mijenjaju svoje ponašanje. Nakon što se osmisli sustav s više agenata, možemo odlučiti poboljšati njegovo ponašanje uzimajući zapisnike od svakog agenta i označavajući svoje preferencije kako bismo izgradili korpus finog podešavanja.

Zamke

Sustavi s više agenata mogu pasti u vrtoglavicu, što znači da povremeno upit možda nikada neće završiti, a agenti neprestano razgovaraju jedni s drugima. Ovo zahtijeva neki oblik mehanizma vremenskog ograničenja. Na primjer, možemo provjeriti povijest komunikacija za isti upit, a ako postane prevelik ili otkrijemo ponavljajuće ponašanje, možemo prekinuti tok i početi ispočetka.

Još jedan problem koji se može pojaviti je fenomen koji ću nazvati preopterećenjem: Očekivati ​​previše od jednog agenta. Trenutačno stanje za LLM ne dopušta nam da agentima damo duge i detaljne upute i očekujemo da ih slijede sve, cijelo vrijeme. Također, jesam li spomenuo da ti sustavi mogu biti nedosljedni?

Ublažavanje ovih situacija je ono što ja zovem granularizacija: razbijanje agenata na više povezanih agenata. Time se smanjuje opterećenje svakog agenta i agenti su dosljedniji u svom ponašanju te je manja vjerojatnost da će pasti u vrtoglavicu. (Zanimljivo područje istraživanja kojim se naš laboratorij bavi je automatizacija procesa granularizacije.)

Još jedan uobičajeni problem u načinu na koji su projektirani sustavi s više agenata je tendencija definiranja agenta koordinatora koji poziva različite agente da izvrše zadatak. Ovo uvodi jednu točku neuspjeha koja može rezultirati prilično složenim skupom uloga i odgovornosti. Moj prijedlog u tim slučajevima je da tijek rada smatrate cjevovodom, pri čemu jedan agent dovršava dio posla, a zatim ga predaje sljedećem.

Sustavi s više agenata također imaju tendenciju prenošenja konteksta niz lanac drugim agentima. To može preopteretiti druge agente, može ih zbuniti i često je nepotrebno. Predlažem dopuštanje agentima da zadrže vlastiti kontekst i poništavanje konteksta kada znamo da imamo posla s novim zahtjevom (nešto poput načina na koji sesije rade za web stranice).

Konačno, važno je napomenuti da postoji relativno visoka letvica za sposobnosti LLM-a koji se koristi kao mozak agenata. Manji LLM-ovi možda će trebati puno brzog inženjeringa ili finog podešavanja kako bi ispunili zahtjeve. Dobra je vijest da već postoji nekoliko komercijalnih agenata i agenata otvorenog izvornog koda, iako relativno velikih, koji prolaze zahtjeve.

To znači da trošak i brzina trebaju biti važni faktori pri izgradnji sustava s više agenata na razini. Također, treba očekivati ​​da ovi sustavi, iako brži od ljudi, neće biti brzi kao softverski sustavi na koje smo navikli.

Babak Hodjat je tehnički direktor za AI u Svjestan.