Arhitektonski obrasci za RAG poboljšan grafovima: Nadilazi vektorsko pretraživanje u proizvodnji

Generiranje proširenog dohvaćanja (RAG) postalo je de facto standard za utemeljenje velikih jezičnih modela (LLM) u privatnim podacima. Standardna arhitektura — dijeljenje dokumenata, njihovo ugrađivanje u vektorsku bazu podataka i dohvaćanje top-k rezultata putem kosinusne sličnosti — učinkovita je za nestrukturirano semantičko pretraživanje.

Međutim, za poslovne domene koje karakteriziraju visoko međusobno povezani podaci (lanac opskrbe, financijska usklađenost, otkrivanje prijevara), RAG samo za vektore često ne uspije. Zarobljava sličnost ali promašuje struktura. Muči se s višestrukim pitanjima rezoniranja poput, "Kako će kašnjenje komponente X utjecati na našu isporuku u trećem kvartalu za klijenta Y?" jer vektorska trgovina ne "znati" da je komponenta X dio isporuke klijenta Y.

Ovaj članak istražuje grafički poboljšani RAG uzorak. Oslanjajući se na moje iskustvo u izgradnji sustava za bilježenje visoke propusnosti u Meti i infrastrukture privatnih podataka u Cogneeu, proći ćemo kroz referentnu arhitekturu koja kombinira semantičku fleksibilnost vektorskog pretraživanja sa strukturnim determinizmom baza podataka grafova.

Problem: Kada vektorsko pretraživanje izgubi kontekst

Vektorske baze podataka izvrsne su u hvatanju značenja, ali odbacuju topologiju. Kada je dokument podijeljen i ugrađen, eksplicitni odnosi (hijerarhija, ovisnost, vlasništvo) često su izravnani ili potpuno izgubljeni.

Razmotrite scenarij rizika opskrbnog lanca. Iako je ovo hipotetski primjer, on predstavlja točnu klasu strukturnih problema koje stalno vidimo u podatkovnim arhitekturama poduzeća:

• Strukturirani podaci: SQL baza podataka koja definira da dobavljač A daje komponentu X tvornici Y.

• Nestrukturirani podaci: Novinski izvještaj u kojem stoji, "Poplave u Tajlandu zaustavile su proizvodnju u pogonu Dobavljača A."

Standardna vektorska pretraga za "proizvodni rizici" će preuzeti izvještaj vijesti. Međutim, vjerojatno nedostaje kontekst za povezivanje tog izvješća s rezultatima Tvornice Y. LLM prima vijesti, ali ne može odgovoriti na ključno poslovno pitanje: "Koje su nizvodne tvornice u opasnosti?"

U proizvodnji se to manifestira kao halucinacija. LLM pokušava premostiti jaz između vijesti i tvornice, ali nema eksplicitnu vezu, što ga dovodi do pogađanja odnosa ili vraćanja "ne znam" odgovor unatoč tome što su podaci prisutni u sustavu.

Obrazac: Hibridno pronalaženje

Da bismo to riješili, prelazimo s a "Ravna KRPICA" do a "Grafikon RAG" arhitektura. Ovo uključuje troslojni stog:

1. Gutanje (The "Meta" Lekcija): U Meti, radeći na Shops infrastrukturi za bilježenje, naučili smo da se struktura mora nametnuti pri gutanju. Ne možete jamčiti pouzdanu analitiku ako kasnije pokušate rekonstruirati strukturu iz neurednih zapisa. Slično, u RAG-u moramo ekstrahirati entitete (čvorove) i odnose (rubove) tijekom ingestije. Možemo koristiti LLM ili model prepoznavanja imenovanih entiteta (NER) za izdvajanje entiteta iz tekstualnih dijelova i njihovo povezivanje s postojećim zapisima u grafikonu.

2. Skladištenje: Koristimo bazu podataka grafova (poput Neo4j) za pohranjivanje strukturnog grafa. Vektorske ugradnje pohranjuju se kao svojstva na određenim čvorovima (npr. RiskEvent čvor).

3. Dohvaćanje: Izvršavamo hibridni upit:

   • Vektorsko skeniranje: Pronađite ulazne točke u grafikonu na temelju semantičke sličnosti.

   • Prolazak grafa: Pređite odnose od tih ulaznih točaka da biste prikupili kontekst.

Referentna implementacija

Izradimo pojednostavljenu implementaciju ovog analizatora rizika lanca opskrbe koristeći Python, Neo4j i OpenAI.

1. Modeliranje grafa

Trebamo shemu koja povezuje naše nestrukturirane "rizični događaji" našim strukturiranim "lanac opskrbe" entiteta.

2. Gutanje: struktura povezivanja i semantika

U ovom koraku pretpostavljamo da strukturalni grafikon (dobavljači -> tvornice) već postoji. Unosimo novu nestrukturiranu "rizični događaj" i povežite ga s grafikonom.

3. Hibridni upit za dohvaćanje

Ovo je ključna razlika. Umjesto samo vraćanja top-k dijelova, koristimo Cypher za izvođenje vektorske pretrage kako bismo pronašli događaj, a zatim prelazimo kako bismo pronašli nizvodni utjecaj.

Izlaz: Umjesto generičkog tekstualnog dijela, LLM prima strukturirani sadržaj:

['issue': 'Severe flooding…', 'impacted_supplier': 'TechChip Inc', 'risk_to_factory': 'Assembly Plant Alpha']

To omogućuje LLM-u da generira precizan odgovor: "Poplava u TechChip Inc dovodi u opasnost Montažni pogon Alpha."

Lekcije o proizvodnji: Latencija i dosljednost

Premještanje ove arhitekture s prijenosnog računala na proizvodnju zahtijeva rješavanje kompromisa.

1. Porez na latentnost

Obilasci grafova skuplji su od jednostavnih vektorskih pretraga. U mom radu na eksperimentiranju sa slikom proizvoda u Meti, bavili smo se strogim proračunima latencije gdje je svaka milisekunda utjecala na korisničko iskustvo. Iako je domena bila drugačija, lekcija o arhitekturi odnosi se izravno na Graph RAG: ne možete si priuštiti da sve izračunate u hodu.

• RAG samo za vektore: ~50-100ms vrijeme vraćanja.

• RAG s poboljšanim grafikonom: ~200-500ms vrijeme vraćanja (ovisno o dubini skoka).

Smanjenje: Koristimo semantičko predmemoriranje. Ako korisnik postavi pitanje slično (kosinusna sličnost > 0,85) prethodnom upitu, poslužujemo predmemorirani rezultat grafikona. Ovo smanjuje "graf porez" za uobičajene upite.

2. The "ustajali rub" problem

U vektorskim bazama podaci su neovisni. U grafikonu, podaci su ovisni. Ako Dobavljač A prestane opskrbljivati ​​Tvornicu Y, ali rub ostane na grafikonu, RAG sustav će pouzdano halucinirati odnos koji više ne postoji.

Smanjenje: Odnosi grafikona moraju imati Time-To-Live (TTL) ili biti sinkronizirani putem cjevovoda Change Data Capture (CDC) iz izvora istine (ERP sustav).

Okvir za odlučivanje o infrastrukturi

Trebate li usvojiti Graph RAG? Ovo je okvir koji koristimo u Cognee-u:

1. Koristite samo vektorski RAG ako:

   • Korpus je ravan (npr. kaotično Wiki ili Slack dump).

   • Pitanja su široka ("Kako mogu resetirati svoj VPN?").

   • Latencija < 200 ms težak je zahtjev.

2. Koristite RAG s poboljšanim grafikonom ako:

   • Domena je uređena (financije, zdravstvo).

   • "Objašnjivost" je potrebno (trebate prikazati prijelazni put).

   • Odgovor ovisi o multi-hop odnosima ("Koje su neizravne podružnice pogođene?").

Zaključak

Graph-enhanced RAG nije zamjena za vektorsko pretraživanje, već nužna evolucija za složene domene. Tretirajući svoju infrastrukturu kao grafikon znanja, dajete LLM-u jednu stvar koju ne može halucinirati: strukturnu istinu vašeg poslovanja.

Daulet Amirkhanov je softverski inženjer u UseBeadu.

Web izvor