‘Problem s receptom za kolače’: zašto LLM moraju imati detaljan kontekst da bi dali rezultate u stvarnom vremenu

Današnji LLM-ovi izvrsni su u rasuđivanju, ali se još uvijek mogu boriti s kontekstom. To je osobito istinito u sustavima naručivanja u stvarnom vremenu kao što su Instacart.

Instacartov tehnički direktor Anirban Kundu to naziva "problem s receptom za brownie."

Nije tako jednostavno kao reći LLM-u ‘Želim napraviti kolačiće’. Kako bi uistinu bio od pomoći pri planiranju obroka, model mora ići dalje od te jednostavne direktive kako bi razumio što je dostupno na korisnikovom tržištu na temelju njihovih preferencija — recimo, organska jaja u odnosu na obična jaja — i to uračunati u ono što se može isporučiti u njihovom geografskom području kako se hrana ne bi pokvarila. Ovo među ostalim kritičnim čimbenicima.

Za Instacart izazov je uskladiti latenciju s pravom kombinacijom konteksta kako bi se pružila iskustva u, idealno, vremenu kraćem od jedne sekunde.

“Ako samo rasuđivanje traje 15 sekundi i ako je svaka interakcija tako spora, izgubit ćete korisnika”, rekao je Kundu na nedavnom VB događaju.

Miješanje razmišljanja, stanja stvarnog svijeta, personalizacije

U dostavi namirnica postoji “svijet razmišljanja” i “svijet stanja” (ono što je dostupno u stvarnom svijetu), Kundu navedeno, a LLM mora razumjeti oboje zajedno s korisničkim preferencijama. Ali to nije tako jednostavno kao učitavanje cjelokupne korisnikove povijesti kupnje i poznatih interesa u model rezoniranja.

“Vaš LLM će eksplodirati u veličinu kojom se neće moći upravljati”, rekao je Kundu.

Kako bi to zaobišao, Instacart dijeli obradu na dijelove. Prvo, podaci se unose u veliki temeljni model koji može razumjeti namjeru i kategorizirati proizvode. Ti se obrađeni podaci zatim usmjeravaju na mali jezični modeli (SLM) dizajniran za kontekst kataloga (vrste hrane ili drugih artikala koji rade zajedno) i semantičko razumijevanje.

U slučaju kataloškog konteksta, SLM mora moći obraditi više razina detalja oko same narudžbe kao i različitih proizvoda. Na primjer, koji proizvodi idu zajedno i koje su njihove relevantne zamjene ako prvog izbora nema na zalihi? Te su zamjene “vrlo, vrlo važne” za tvrtku poput Instacarta, za koju Kundu kaže da ima “više od dvoznamenkastih slučajeva” kada proizvod nije dostupan na lokalnom tržištu.

U smislu semantičkog razumijevanja, recimo da kupac želi kupiti zdrave grickalice za djecu. Model treba razumjeti što je zdrav međuobrok i koja je hrana prikladna za osmogodišnjaka i koja mu se sviđa, a zatim identificira relevantne proizvode. A kada ti određeni proizvodi nisu dostupni na određenom tržištu, model također mora pronaći povezane podskupove proizvoda.

Tu je i logistički element. Na primjer, proizvod poput sladoleda brzo se topi, a smrznuto povrće također ne prolazi dobro ako ga izostavite na višim temperaturama. Model mora imati ovaj kontekst i izračunati prihvatljivo vrijeme isporuke.

“Dakle, imate ovo razumijevanje namjere, imate ovu kategorizaciju, zatim imate ovaj drugi dio o logistici, kako to radite?”, primijetio je Kundu.

Izbjegavanje ‘monolitnih’ agentskih sustava

Kao i mnoge druge tvrtke, Instacart eksperimentira s AI agentima, otkrivajući da kombinacija agenata radi bolje od “jednog monolita” koji obavlja više različitih zadataka. Unixova filozofija modularnog operativnog sustava s manjim, fokusiranim alatima pomaže u rješavanju različitih sustava plaćanja, na primjer, koji imaju različite načine kvarova, objasnio je Kundu.

“Morati sve to izgraditi unutar jednog okruženja bilo je vrlo nezgrapno”, rekao je. Nadalje, agenti na stražnjoj strani komuniciraju s mnogim platformama trećih strana, uključujući sustave prodajnih mjesta (POS) i kataloške sustave. Naravno, ne ponašaju se svi na isti način; neki su pouzdaniji od drugih i imaju različite intervale ažuriranja i feedove.

“Dakle, budući da smo u mogućnosti nositi se sa svim tim stvarima, krenuli smo ovim putem mikroagensa, a ne agenata koji su dominantno veliki po prirodi”, rekao je Kundu.

Za upravljanje agentima, Instacart se integrirao sa Kontekstni protokol modela OpenAI-ja (MCP), koji standardizira i pojednostavljuje proces povezivanja AI modela s različitim alatima i izvorima podataka.

Tvrtka također koristi Googleov otvoreni standard Universal Commerce Protocol (UCP), koji agentima umjetne inteligencije omogućuje izravnu interakciju s trgovačkim sustavima.

Međutim, Kunduov tim i dalje se nosi s izazovima. Kao što je primijetio, ne radi se o tome je li integracija moguća, već koliko se pouzdano te integracije ponašaju i koliko ih korisnici razumiju. Otkrivanje može biti teško, ne samo u identificiranju dostupnih usluga, već iu razumijevanju koje su prikladne za koji zadatak.

Instacart je morao implementirati MCP i UCP u “vrlo različitim” slučajevima, a najveći problemi na koje su naišli su načini kvarova i latencija, primijetio je Kundu. “Vrijeme odgovora i razumijevanje obje te usluge su vrlo, vrlo različiti, rekao bih da potrošimo vjerojatno dvije trećine vremena na popravljanje tih slučajeva grešaka.”

Web izvor