Sloj skele koji je programerima nekoć bio potreban za isporuku LLM aplikacija – slojevi indeksiranja, tražilice, cjevovodi za dohvaćanje, pažljivo orkestrirane petlje agenata – se urušava. A prema Jerryju Liuu, suosnivaču i izvršnom direktoru tvrtke LlamaIndexto nije problem. To je poanta.
“Kao rezultat toga, manja je potreba za okvirima koji zapravo pomažu korisnicima da sastave ove determinističke tijekove rada na lagan i plitak način”, Jerry Liu, suosnivač i glavni izvršni direktor LlamaIndexa, objašnjava u novom Podcast VentureBeat Beyond the Pilot.
Sadržaj objave
Kontekst postaje jarak
Liuov LlamaIndex jedan je od najistaknutijih okvira za generiranje proširenog dohvaćanja (RAG) koji povezuje privatne, prilagođene podatke i podatke specifične za domenu s LLM-ovima. No čak i on priznaje da ove vrste okvira postaju manje relevantne.
Sa svakim novim izdanjem, modeli pokazuju inkrementalne sposobnosti razmišljanja o “ogromnim količinama” nestrukturiranih podataka, au tome su sve bolji od ljudi, napominje. Može im se vjerovati da će opširno razmišljati, sami se ispravljati i provoditi planiranje u više koraka; Model Context Protocol (MCP) i dodaci Claude Agent Skills omogućuju modelima otkrivanje i korištenje alata bez potrebe za integracijom za svaki zasebno.
Agentski obrasci su se konsolidirali prema onome što Liu naziva a "dijagram upravljanog agenta" — sloj pojasa u kombinaciji s alatima, MCP konektorima i dodacima za vještine, umjesto prilagođene orkestracije za svaki tijek rada.
Nadalje, agenti za kodiranje izvrsni su u pisanju koda, što znači da se razvojni programeri ne moraju oslanjati na opsežne biblioteke. Zapravo, oko 95% LlamaIndex koda generira AI. “Inženjeri zapravo ne pišu pravi kod”, rekao je Liu. “Svi oni tipkaju prirodnim jezikom.” To znači da se slojevi između programera i neprogramera urušavaju, jer je “novi programski jezik u biti engleski.”
Umjesto ručnog kodiranja ili muke s razumijevanjem integracije API-ja i dokumenata, razvojni programeri mogu jednostavno uputiti Claude Code na to. “Ova vrsta stvari bila je ili krajnje neučinkovita ili bi samo pokvarila agenta prije tri godine”, rekao je Liu. “Ljudima je mnogo lakše izgraditi čak i relativno napredno dohvaćanje s iznimno jednostavnim primitivima.”
Dakle, koja je glavna razlika kada se stog uruši?
Kontekst, kaže Liu. Agenti moraju moći dešifrirati formate datoteka kako bi izvukli prave informacije. Pružanje veće točnosti i jeftinijeg parsiranja postaje ključno, a LlamaIndex je ovdje dobro pozicioniran, tvrdi on, zbog svog razvoja s agentskom obradom dokumenata putem optičkog prepoznavanja znakova (OCR).
“Stvarno smo identificirali da postoji temeljni skup podataka koji je zaključan u svim tim spremnicima formata datoteka”, rekao je. U konačnici, “nije bitno hoćete li koristiti OpenAI Codex ili Claude Code. Ono što im svima treba je kontekst.”
Održavanje hrpa modularno
Postoji sve veća zabrinutost oko graditelja kao što je Anthropic zaključavanje podataka o sesiji; u svjetlu toga, Liu naglašava važnost modularnosti i agnosticizma. Graditelji se ne bi trebali kladiti ni na jedan granični model ili pretjerano graditi na način koji prekomplicira komponente niza.
Dohvaćanje je evoluiralo u “agent-plus-sandbox”, kako on to opisuje, a poduzeća moraju osigurati da su njihove baze kodova oslobođene tehničkih dugova i prilagodljive promjenjivim obrascima. Također moraju priznati da će neke dijelove hrpe na kraju morati baciti kao nešto što se podrazumijeva.
“Jer sa svakim izdanjem novog modela, uvijek postoji drugačiji model koji je na neki način pobjednik”, rekao je Liu. “Želite biti sigurni da stvarno imate određenu fleksibilnost da je iskoristite.”
Poslušajte podcast da biste saznali više o:
-
LlamaIndex je započeo kao ‘projekt igračaka’ s početnom točnošću od oko 40%;
-
Kako SaaS tvrtke mogu iskoristiti komplicirane tijekove rada koji moraju biti standardizirani i ponovljivi za prosječne znanstvene radnike;
-
Zašto su vertikalne AI tvrtke u porastu i zašto je ‘graditi nasuprot kupnji’ još uvijek vrlo valjano pitanje u doba agenata.
Također možete slušati i pretplatiti se S onu stranu pilota na Spotify, Jabuka ili gdje god dobijete svoje podcaste.