Zillow, tehnološka tvrtka za nekretnine, nema jedan razgovor sa svojim kupcima. Oni prelaze sa zaslona telefona na kreditnog službenika na agenta za nekretnine, ponekad tijekom mjeseci ili godina, i očekuju da će ih kontekst pratiti. Jedan chatbot nikada ne bi mogao nositi tu nit.
Na VB Transform 2026, Zillow SVP inženjeringa Toby Roberts i Glean suosnivač i izvršni direktor Arvind Jain opisali su kako su izgradili AI arhitekturu namijenjenu prenošenju konteksta kroz cijelo to putovanje – i zašto se pokazalo da je kontekst, a ne neobrađeni podaci, problem koji je teže riješiti. Zillow proizvodi dotiču otprilike 80% američkih transakcija nekretninama svake godine, a tvrtka je koristila AI davno prije nego što je ChatGPT postojao.
"Prilično smo brzo utvrdili da ćemo trebati trajni kontekstni sloj koji će se susresti s našim klijentima i profesionalcima ma gdje bili," rekao je Roberts.
Sadržaj objave
Podaci nikad nisu bili teži dio
Roberts je rekao da su Zillowovi napori AI-ja započeli tamo gdje počinje većina AI-a u poduzećima, sa samim podacima.
"Počeli smo s velikim naporom kako bismo osigurali da naši podaci imaju pravu osnovu," rekao je Roberts. To je značilo mrežni pristup podataka, jasno podrijetlo podataka i strukturu upravljanja s dopuštenjima i identitetom pridruženim samim podacima.
Ništa od toga nije se pokazalo teškim problemom. Težak problem bio je izgraditi nešto što je pamtilo gdje se kupac nalazio na svom putu i prenosilo to naprijed, bez obzira na kojoj se površini sljedeće pojavio.
"Ovaj sloj konteksta mora živjeti kako bi vas mogao podržati gdje se nalazite u bilo kojoj točki vašeg putovanja," rekao je Roberts. Zillow je odlučio sam posjedovati taj sloj umjesto da ovisi o jednom vanjskom sučelju za chat, odluka koju je Roberts rekao da je tim donio brzo nakon što je pogledao oblik stvarne transakcije, a ne jednog razgovora.
Zašto je Zillow izgradio vlastitu arhitekturu i gdje se Glean uklapa u nju
Zillow je izgradio vlastiti pojas umjesto da klijente usmjerava kroz API jednog modela. Tim se oslanjao na 20 godina povijesti strojnog učenja iza proizvoda kao što je Zestimate, oslanjajući se na manje fino podešene modele specifične za zadatak umjesto jednog modela opće namjene.
Interno, taj pojas ide uz Gleana. Roberts je rekao da Zillow sada ima tisuće Glean agenata u proizvodnji, koji se bave ponavljajućim zadacima s desecima tisuća izvršenja u cijeloj tvrtki. Gleanov prijedlog, po Jainu, centralizira taj integracijski rad jednom, kroz Glean MCP pristupnik, umjesto da dopusti da financije, pravo i marketing ponovno izgrade vlastite veze s istim sustavima.
Ta centralizacija je i troškovna poluga. Jain je ukazao na dva mehanizma: usmjeravanje modela, koje većinu zadataka šalje manjim, jeftinijim modelima umjesto postavljanja na granične modele, i unaprijed izračunati kontekst, koji izbjegava da agent spaljuje tokene sastavljajući vlastiti kontekst od nule.
"Claude je također vrlo spor jer prvi dio sastavljanja tog konteksta zapravo traje zauvijek," rekao je Jain. Usmjeravanje tog zahtjeva putem Gleana umjesto toga, rekao je, može smanjiti potrošnju tokena za čak polovicu.
Što pristup Zillowa i Gleana znači za poduzeća
Uz podatke, troškove i dozvole, sesija je ponudila nekoliko praktičnih zaključaka za poduzeća koja grade agentsku umjetnu inteligenciju na svojim sustavima.
Izgradite osnovnu liniju mjerenja prije AI push-a, a ne nakon. Roberts je rekao da Zillowova sposobnost da vjerodostojno pripiše 40% povećanja isporučenog koda usvajanju umjetne inteligencije počiva na osnovici DORA metrike koju je tim postavio godinama ranije, a ne na samom uvođenju umjetne inteligencije.
Centralizirajte kontekst jednom umjesto da dopustite svakom timu da ga ponovno izgradi. Jainov temeljni argument za Gleanovu platformu je da je dvostruki integracijski rad između financijskih, pravnih i marketinških timova skriveni trošak koji većina poduzeća nije uzela u obzir.
Nemojte pretpostavljati da je nasljeđivanje dopuštenja dovoljno za regulirane podatke. Čak i uz postavljenu platformu za kontekst s dopuštenjima, Zillow je postavio stroga pravila i stalnu provjeru usklađenosti na vrhu za svoje najosjetljivije kategorije, umjesto da vjeruje arhitekturi da će to automatski obraditi.
Tretirajte kontekst kao polugu troškova, a ne samo sposobnost. Usmjeravanje modela i unaprijed izračunati kontekst bila su dva mehanizma na koje je Jain ukazao za smanjenje potrošnje AI-a, a oba usmjerena na smanjenje potrošene potrošnje tokena, a ne na dodavanje novih mogućnosti.
"Modeli sami po sebi nisu dovoljni za uvođenje automatizacije s umjetnom inteligencijom u vaše poduzeće," rekao je Jain. "Morate to povezati s kontekstom svoje tvrtke."