Usmjeravanje modela postaje ključna komponenta poslovnog skupa umjetne inteligencije, dinamički šaljući upite pravom modelu umjetne inteligencije radi optimizacije brzine i troškova. Međutim, trenutni okviri uglavnom tretiraju usmjeravanje kao statički problem klasifikacije, što ozbiljno ograničava njihov potencijal.
Novi okvir otvorenog koda tzv Agent-kao-usmjerivač rješava ovo usko grlo, tretirajući usmjerivač kao dinamičan agent za izgradnju memorije. Koristi petlju Context-Action-Feedback (CAF) za praćenje uspjeha i neuspjeha modela i ažuriranje ponašanja usmjerivača.
Istraživači su također objavili ACRouter, konkretnu implementaciju ove paradigme. U njihovim testovima, ACRouter je značajno nadmašio statičke usmjerivače i skupu strategiju postavljanja na premium modele, a sve bez potrebe da timovi treniraju masivne modele ili pišu beskonačne heuristike.
Za aplikacije u stvarnom svijetu, ovaj okvir pruža mogućnost zamjene tvrdo kodirane infrastrukture umjetne inteligencije sustavima koji se sami optimiziraju i koji se mogu prilagoditi promjenama u ponašanju korisnika i modelima temelja koji se koriste u skupu umjetne inteligencije poduzeća.
Sadržaj objave
Ekonomika usmjeravanja i informacijski deficit
Postavke s jednim modelom korisne su za eksperimente, ali štetne pri skaliranju AI aplikacija. Inženjeri umjetne inteligencije koriste usmjeravanje modela za mapiranje zadataka na jeftinije i brže otvorene modele kada je to moguće, dok skupe granične modele čuvaju za složena razmišljanja.
Trenutno se programeri oslanjaju na dva glavna mehanizma za ovaj zadatak. Prvi je usmjeravanje temeljeno na heuristici, koje se oslanja na tvrdo kodirana ručna pravila. Na primjer, razvojni programer može napisati pravilo koje nalaže da se upit, ako sadrži određene ključne riječi, usmjerava na GPT-5.5. U suprotnom, ide na model otvorenog izvornog koda koji sam hostira kao što je Kimi K2.7.
Drugi mehanizam su statično obučene politike. To su klasifikatori strojnog učenja obučeni na povijesnim skupovima podataka koji gledaju na ugradnje upita i predviđaju najbolji model na temelju prošlih podataka o obuci.
Oba pristupa su statična. Kada su istraživači testirali ove postojeće mehanizme na stvarnom kodiranju i agentskim tijekovima rada, otkrili su strogu gornju granicu točnosti. Ključno otkriće pokazuje da statički usmjerivači pate od ozbiljnog manjka informacija. Budući da samo procjenjuju ulazni tekst i nikada ne vide je li model doista uspio izvršiti zadatak, pogađaju naslijepo kada su suočeni sa složenim rubnim slučajevima.
To rezultira s tri različite točke neuspjeha. Prvo, statički usmjerivači pate od stanja zamrznutih informacija, što znači da ne mogu akumulirati nove povratne informacije o izvršenju tijekom implementacije. Drugo, ne uspijevaju u generalizaciji izvan distribucije (OOD). Oni se pokvare tijekom dan-dva operacija kada se podaci poduzeća ili ponašanje korisnika pomaknu jer njihovi podaci o obuci više ne odgovaraju stvarnosti. Konačno, vrlo su osjetljivi na odljev modela. Statički klasifikator obučen na današnjim modelima može postati zastario kada bolji model padne sljedeći tjedan.
Agent-as-a-Router: Sustav koji se sam razvija
Temeljna teza Agent-as-a-Routera je da istinski učinkovit usmjerivač mora steći i akumulirati informacije temeljene na izvršenju tijekom implementacije, u biti učeći na poslu.
Istraživači su to postigli pomoću CAF petlje. Kada stigne novi prompt, usmjerivač ispituje prompt i metapodatke zadatka, poput programskog jezika ili težine. Zatim pretražuje svoje povijesno pamćenje u potrazi za sličnim zadacima kako bi vidio koji su modeli bili uspješni ili neuspješni u prošlosti. Usmjerivač koristi ovaj kontekst za odabir ciljanog modela i izvršavanje zadatka. Na kraju, sustav promatra ishod u stvarnom svijetu, izdvaja signal uspjeha ili neuspjeha i zapisuje te povratne informacije natrag u svoju memoriju kako bi informirao buduće odluke o usmjeravanju.
Razmotrite automatizirani cjevovod za analizu podataka poduzeća. Usmjerivač prima zadatak generiranja SQL-a i šalje ga modelu otvorenog koda kao što je Kimi. Model halucinira naziv stupca i ne uspijeva kompilirati SQL. CAF petlja opaža pogrešku prevoditelja, registrira je kao povratnu informaciju i bilježi. Sljedeći put kada stigne sličan nejasni SQL upit, usmjerivač provjerava njegov kontekst i usmjerava zadatak na napredniji model kao što je Claude Opus 4.8.
ACRuter
Istraživači su razvili ACRouter kao konkretnu instancu ovog okvira. Sastoji se od tri osnovne komponente: orkestratora, verifikatora i memorije. Ovu arhitekturu podržava sloj alata za fizičko izvođenje CAF petlje.
Memorijski modul pokreće fazu konteksta. Izgrađen na vektorskoj pohrani, dohvaća relevantne prošle interakcije i ažurira povijesnu bazu podataka novim rezultatima. Orkestrator upravlja fazom akcije. Obrađuje korisnički upit zajedno s dohvaćenom memorijom kako bi odabrao najsposobniji ciljni model iz dostupnog skupa. Verifikator upravlja fazom povratne informacije procjenom izlaza odabranog modela kako bi generirao jasan signal uspjeha ili neuspjeha.
Sloj alata spaja Verifier u okruženja za izvršavanje u stvarnom svijetu, kao što je Python interpreter koda, agentic sandbox ili motor baze podataka. Sloj alata omogućuje sustavu da izvrši generirani kod ili upit i promatra točan ishod, pružajući provjerljivi signal koji usmjerivač treba naučiti.
Orchestrator je sam po sebi lagan. Umjesto masivnog, računalno teškog velikog jezičnog modela, istraživači su uvježbali sub-milijardni adapter parametara temeljen na Qwen 3.5 (0.8B parametara), što znači da se može samostalno hostirati na uređaju po vašem izboru.
ACRouter na djelu: nadmašuje granične osnovne linije
Za testiranje okvira na stres, istraživači su predstavili CodeRouterBench, evaluacijsko okruženje koje se sastoji od otprilike 10.000 zadataka s verificiranim rezultatima u osam graničnih modela, uključujući Claude Opus 4.6, GPT-5.4, Qwen3-Max i GLM-5. Evaluacija je bila podijeljena između testova unutar distribucije (ID) (koji pokrivaju devet dimenzija kodiranja s jednim okretom kao što su dizajn algoritma i generiranje testa) i ispitne platforme agentskog programiranja izvan distribucije (OOD). OOD zadaci bili su kvalitativno različiti, zahtijevajući planiranje u više koraka, navigaciju datotekama i iterativno uklanjanje pogrešaka kako bi se vidjelo može li se usmjerivač prilagoditi fundamentalno novim domenama.
Osnovni rezultati otkrili su zašto je strategija jednog modela manjkava: niti jedan model ne dominira u svakoj kategoriji. Na primjer, dok je Claude Opus 4.6 postigao najveću prosječnu izvedbu, GLM-5 ga je nadmašio u dizajnu algoritma (86% relativno poboljšanje) i u generiranju testa Qwen3-Max (111% poboljšanje), unatoč tome što je Opus koštao otprilike 12 puta više od manjih modela poput Kimi-K2.5.
U mjerilima, statički usmjerivači kontinuirano su padali slanjem specifičnog zadatka kodiranja niše modelu koji nije bio opremljen za točnu sintaksu. Statički usmjerivač nije mogao znati da se kôd ne izvršava. Nasuprot tome, ACRouter je prilagodio svoju strategiju nakon što je primio negativan povratni signal iz izvršnog okruženja.
Prema benchmarkingu istraživača, ACRouter čvrsto stoji na Pareto granici troškova i performansi. I na tokovima ID zadataka i na složenim OOD agentskim testovima, ACRouter je postigao najniže kumulativno žaljenje, metriku koja mjeri odluke o usmjeravanju koje nisu bile optimalne tijekom vremena. Na skupu za testiranje u distribuciji, ACRouter je koštao 13,21 USD tijekom cijelog izvođenja zadatka, u usporedbi s 34,02 USD za uvijek zadanu postavku na Opus — ušteda 2,6x.
Dinamički je usklađivao zadatke s najsposobnijim modelom za tu specifičnu nišu, sugerirajući da poduzeća mogu postići ili premašiti graničnu točnost u različitim radnim opterećenjima bez plaćanja premijske cijene za svaki upit.
Upozorenja, ograničenja i kako započeti
Iako paradigma Agent-as-a-Router rješava informacijski deficit, ona nije opće rješenje za sve tijekove rada umjetne inteligencije.
Okvir blista u provjerljivim zadacima gdje Verifier dobiva jasan signal uspjeha ili neuspjeha iz okruženja, kao što je kodiranje ili dohvaćanje podataka. Učinkovit je za aplikacije s distribucijskim pomacima i domenama gdje se različiti modeli ističu u potpuno različitim nišama.
Suprotno tome, postavljanje je pretjerano za trivijalne zadatke gdje će bilo koji model biti dovoljan ili za aplikacije male količine koje ne opravdavaju troškove inženjerstva. Također je neprikladan za subjektivna područja, kao što je kreativno pisanje, gdje se točan odgovor ne može lako provjeriti, a povratne signale je nemoguće standardizirati.
Istraživači su otvorili izvor kod na GitHubu i pustio je utezi modela orkestratora na Hugging Face pod licencom Apache 2.0. Usmjerivač je kompatibilan s Claude Code, Codex i OpenCode.