Googleov novi TurboQuant algoritam ubrzava AI memoriju 8x, smanjujući troškove za 50% ili više

Dok veliki jezični modeli (LLM) proširuju svoje kontekstne prozore za obradu ogromnih dokumenata i zamršenih razgovora, susreću se s brutalnom hardverskom stvarnošću poznatom kao "Usko grlo predmemorije ključ-vrijednost (KV)."

Svaka riječ koju model obradi mora biti pohranjena kao visokodimenzionalni vektor u memoriji velike brzine. Za dugotrajne zadatke, ovo "digitalna varalica" brzo nabubri, proždirući sustav video memorije s izravnim pristupom (VRAM) grafičke procesorske jedinice (GPU) koji se koristi tijekom zaključivanja i brzo usporava performanse modela tijekom vremena.

Ali ne bojte se, Google Research je ovdje: jučer, jedinica unutar pretraživačkog diva objavila je svoj paket algoritama TurboQuant — samo softversko otkriće koje pruža matematički nacrt za ekstremnu KV kompresiju predmemorije, omogućujući prosječno 6x smanjenje količine KV memorije dani model koristi, i 8x povećanje performansi u logima računalne pažnje, što bi moglo smanjiti troškove za poduzeća koja ga implementiraju na svojim modelima za više od 50%.

Teorijski utemeljeni algoritmi i pridruženi istraživački radovi sada su javno dostupni besplatno, uključujući i za korporativnu upotrebu, nudeći rješenje bez obuke za smanjenje veličine modela bez žrtvovanja inteligencije.

Dolazak TurboQuanta kulminacija je višegodišnjeg istraživačkog luka koji je započeo 2024. Dok su temeljni matematički okviri—uključujući PolarQuant i Kvantizirani Johnson-Lindenstrauss (QJL)— dokumentirani su početkom 2025., njihovo današnje službeno predstavljanje označava prijelaz iz akademske teorije u stvarnost velike proizvodnje.

Vrijeme je strateško, podudara se s nadolazećim prezentacijama ovih nalaza na nadolazećim konferencijama Međunarodna konferencija o prikazima učenja (ICLR 2026.) u Rio de Janeiru, Brazil, i Godišnja konferencija o umjetnoj inteligenciji i statistici (AISTATS 2026.) u Tangeru, Maroko.

Objavljivanjem ovih metodologija u okviru otvorenog istraživanja, Google pruža ono bitno "vodovod" za bujanje "Agentska umjetna inteligencija" era: potreba za masivnom, učinkovitom i pretraživom vektoriziranom memorijom koja se konačno može izvoditi na hardveru koji korisnici već posjeduju. Vjeruje se da već ima učinak na burzu, snižavajući cijenu dobavljača memorije jer trgovci gledaju na izdanje kao znak da će biti potrebno manje memorije (možda netočno, s obzirom na Jevonsov paradoks).

Arhitektura memorije: rješavanje problema poreza na učinkovitost

Da bismo razumjeli zašto je TurboQuant važan, prvo moramo razumjeti "porez na memoriju" moderne umjetne inteligencije. Tradicionalna vektorska kvantizacija je kroz povijest bila a "propusno" proces.

Kada se decimalni brojevi visoke preciznosti komprimiraju u jednostavne cijele brojeve, dobiveni "greška kvantizacije" nakuplja se, na kraju uzrokujući halucinacije modela ili gubitak semantičke koherentnosti.

Nadalje, većina postojećih metoda zahtijeva "konstante kvantizacije"—meta-podaci pohranjeni uz komprimirane bitove koji govore modelu kako ih dekomprimirati. U mnogim slučajevima, ove konstante dodaju toliko dodatnih troškova—ponekad 1 do 2 bita po broju—da u potpunosti poništavaju dobitke kompresije.

TurboQuant rješava ovaj paradoks kroz dvostupanjski matematički štit. Prva faza koristi PolarQuant, koji ponovno zamišlja kako mapiramo visokodimenzionalni prostor.

Umjesto da koristi standardne kartezijeve koordinate (X, Y, Z), PolarQuant pretvara vektore u polarne koordinate koje se sastoje od polumjera i skupa kutova.

Proboj leži u geometriji: nakon nasumične rotacije, distribucija ovih kutova postaje vrlo predvidljiva i koncentrirana. Jer "oblik" Podaci sada poznati, sustav više ne treba pohranjivati ​​skupe normalizacijske konstante za svaki blok podataka. Jednostavno preslikava podatke na fiksnu, kružnu mrežu, eliminirajući dodatne troškove koje tradicionalne metode moraju nositi.

Drugi stupanj djeluje kao matematički uređaj za provjeru pogrešaka. Čak i uz učinkovitost PolarQuanta, ostaje zaostala količina pogreške. TurboQuant primjenjuje 1-bitnu kvantiziranu Johnson-Lindenstrauss (QJL) transformaciju na ove preostale podatke. Smanjenjem svakog broja pogreške na jednostavni bit predznaka (+1 ili -1), QJL služi kao procjenitelj nulte pristranosti. Ovo osigurava da kada model izračuna an "ocjena pažnje"— vitalni proces odlučivanja koje su riječi u upitu najrelevantnije — komprimirana verzija ostaje statistički identična izvorniku visoke preciznosti.

Referentne vrijednosti performansi i pouzdanost u stvarnom svijetu

Pravi test svakog algoritma kompresije je "Igla u plastu sijena" benchmark, koji procjenjuje može li AI pronaći jednu specifičnu rečenicu skrivenu unutar 100.000 riječi.

U testiranju modela otvorenog koda kao što su Llama-3.1-8B i Mistral-7B, TurboQuant je postigao savršene rezultate prisjećanja, odražavajući performanse nekomprimiranih modela dok smanjenje otiska KV cache memorije za faktor od najmanje 6x.

Ovaj "neutralnost kvalitete" rijedak je u svijetu ekstremne kvantizacije, gdje 3-bitni sustavi obično pate od značajne degradacije logike.

Osim chatbota, TurboQuant je transformativan za visokodimenzionalno pretraživanje. Moderne tražilice sve se više oslanjaju na "semantičko pretraživanje," uspoređujući značenja milijardi vektora, a ne samo podudaranje ključnih riječi. TurboQuant dosljedno postiže superiorne omjere prisjećanja u usporedbi s postojećim najsuvremenijim metodama kao što su RabbiQ i Product Quantization (PQ), dok ne zahtijeva gotovo nulto vrijeme indeksiranja.

To ga čini idealnim kandidatom za aplikacije u stvarnom vremenu gdje se podaci stalno dodaju u bazu podataka i moraju biti odmah pretraživi. Nadalje, na hardveru kao što su NVIDIA H100 akceleratori, TurboQuantova 4-bitna implementacija postigla je 8x povećanje performansi u računalnim zapisima pažnje, kritično ubrzanje za implementacije u stvarnom svijetu.

Zanesena reakcija zajednice

Reakcija na X, dobivena Grokovom pretragom, uključivala je mješavinu tehničkog strahopoštovanja i neposrednog praktičnog eksperimentiranja.

The izvorna najava @GoogleResearch generirao je veliki angažman, s više od 7,7 milijuna pregleda, signalizirajući da je industrija gladna rješenja za krizu pamćenja.

U roku od 24 sata od objavljivanja, članovi zajednice počeli su prenositi algoritam na popularne lokalne AI biblioteke poput MLX za Apple Silicon i lama.cpp.

Tehnički analitičar @Princ_Canuma podijelio je jedno od najzanimljivijih ranih mjerila, implementirajući TurboQuant u MLX za testiranje modela Qwen3.5-35B.

U duljinama konteksta u rasponu od 8,5K do 64K tokena, izvijestio je o 100% točnom podudaranju na svakoj razini kvantizacije, napominjući da je 2,5-bitni TurboQuant smanjio KV predmemoriju za gotovo 5x uz nulti gubitak točnosti. Ova potvrda u stvarnom svijetu ponovila je Googleovo interno istraživanje, dokazujući da se prednosti algoritma neprimjetno prenose na modele trećih strana.

Drugi su se korisnici usredotočili na demokratizaciju AI visokih performansi. @NoahEpstein_ dao je jednostavnu analizu na engleskom, tvrdeći da TurboQuant značajno smanjuje jaz između besplatne lokalne umjetne inteligencije i skupih pretplata na oblak.

Napomenuo je da modeli rade lokalno na potrošačkom hardveru poput Mac Minija "upravo postalo dramatično bolje," omogućavanje razgovora sa 100.000 tokena bez tipične degradacije kvalitete.

Slično tome, @PrajwalTomar_ istaknuo sigurnosne i brzinske prednosti trčanja "ludi AI modeli lokalno besplatno," izražavajući "ogromno poštovanje" za Googleovu odluku da podijeli istraživanje umjesto da ga zadrži kao vlasništvo.

Utjecaj na tržište i budućnost hardvera

Izdanje TurboQuant-a već je počelo utjecati na širu tehnološku ekonomiju. Nakon objave u utorak, analitičari su primijetili silazni trend cijena dionica velikih dobavljača memorije, uključujući Micron i Western Digital.

Reakcija tržišta odražava spoznaju da ako AI divovi mogu komprimirati svoje zahtjeve za memorijom za faktor šest samo putem softvera, nezasitna potražnja za High Bandwidth Memory (HBM) može biti ublažena algoritamskom učinkovitošću.

Kako idemo dublje u 2026., dolazak TurboQuant-a sugerira da će sljedeća era napretka umjetne inteligencije biti definirana koliko matematičkom elegancijom toliko i grubom silom. Redefinirajući učinkovitost kroz ekstremnu kompresiju, Google omogućuje "pametnije kretanje memorije" za agente s više koraka i guste cjevovode za dohvaćanje. Industrija se pomiče s fokusa na "veći modeli" do "bolje pamćenje," promjena koja bi mogla smanjiti troškove AI posluživanja na globalnoj razini.

Strateška razmatranja za donositelje odluka u poduzećima

Za poduzeća koja trenutno koriste ili fino podešavaju svoje vlastite AI modele, izdanje TurboQuant nudi rijetku priliku za trenutno operativno poboljšanje.

Za razliku od mnogih otkrića u području umjetne inteligencije koja zahtijevaju skupu ponovnu obuku ili specijalizirane skupove podataka, TurboQuant ne zahtijeva obuku i podatke.

To znači da organizacije mogu primijeniti ove tehnike kvantizacije na svoje postojeće fino podešene modele — bilo da se temelje na Llami, Mistralu ili Googleovoj vlastitoj Gemmi — kako bi ostvarile trenutačnu uštedu memorije i ubrzanja bez rizika za specijaliziranu izvedbu na čijem su izgradnji radili.

S praktičnog stajališta, IT i DevOps timovi poduzeća trebali bi razmotriti sljedeće korake za integraciju ovog istraživanja u svoje operacije:

Optimizirajte cjevovode zaključivanja: Integracija TurboQuant-a u proizvodne poslužitelje za zaključivanje može smanjiti broj GPU-a potrebnih za posluživanje aplikacija dugog konteksta, potencijalno smanjujući troškove računanja u oblaku za 50% ili više.

Mogućnosti proširenja konteksta: Poduzeća koja rade s masivnom internom dokumentacijom sada mogu ponuditi mnogo dulje kontekstne prozore za zadatke generiranja proširenog dohvaćanja (RAG) bez masivnog opterećenja VRAM-a koje je prije činilo takve značajke previsokim troškovima.

Poboljšajte lokalne implementacije: Za organizacije sa strogim zahtjevima za privatnošću podataka, TurboQuant omogućuje izvođenje vrlo sposobnih modela velikih razmjera na on-premise hardveru ili rubnim uređajima koji su prije bili nedostatni za 32-bitne ili čak 8-bitne težine modela.

Ponovno procijenite nabavu hardvera: Prije ulaganja u masivne GPU klastere s velikim HBM-om, čelnici operacija trebali bi procijeniti koliko se njihovih uskih grla može riješiti pomoću ovih poboljšanja učinkovitosti vođenih softverom.

U konačnici, TurboQuant dokazuje da ograničenje umjetne inteligencije nije samo koliko tranzistora možemo strpati na čip, već koliko elegantno možemo prevesti beskonačnu složenost informacija u konačni prostor digitalnog bita. Za poduzeće, ovo je više od običnog istraživačkog rada; to je taktičko otključavanje koje postojeći hardver pretvara u znatno moćniju imovinu.

Web izvor