Želite pametnije uvide u vašu pristiglu poštu? Prijavite se za naše tjedne biltene kako biste dobili samo ono što je važno za vođe AI, podataka i sigurnosti. Pretplatite se sada
Sveobuhvatan Nova studija otkrio je da modeli umjetne inteligencije otvorenog koda konzumiraju znatno više računalnih resursa od svojih konkurenata zatvorenog koda prilikom obavljanja identičnih zadataka, što potencijalno potkopava njihove prednosti troškova i preoblikovajući kako poduzeća procjenjuju strategije implementacije AI.
Istraživanje, koje je provela AI tvrtka Istraživanjeotkrili su da modeli otvorene težine koriste između 1,5 i 4 puta više tokena-osnovne jedinice AI računanja-nego zatvoreni modeli poput onih iz Open i Antropski. Za jednostavna pitanja znanja, jaz se dramatično proširio, pri čemu su neki otvoreni modeli koji koriste do 10 puta više tokena.
Mjerenje učinkovitosti razmišljanja u modelima obrazloženja: referentna vrijednost koja nedostajehttps://t.co/b1e1rjx6vz
Izmjerili smo upotrebu tokena kroz modele obrazloženja: Otvoreni modeli izlazite 1,5-4x više tokena nego zatvorenih modela na identičnim zadacima, ali s ogromnom varijancom ovisno o vrsti zadatka (do… pic.twitter.com/ly1083won8
– Nous Research (@NuSresearch) 14. kolovoza 2025
“Modeli s otvorenom težinom koriste 1,5–4 × više tokena od zatvorenih (do 10 × za jednostavna pitanja znanja), čineći ih ponekad skupljim po upitu unatoč nižim troškovima po kuku”, napisali su istraživači u svom izvješću objavljenom u srijedu.
Nalazi izazivaju prevladavajuću pretpostavku u industriji AI da modeli otvorenog koda nude jasne ekonomske prednosti u odnosu na vlasničke alternative. Iako modeli otvorenog koda obično koštaju manje po žetonu, studija sugerira da ta prednost može biti “lako nadoknaditi ako zahtijevaju više tokena da bi se razmotrili zbog određenog problema.”
AI skaliranje pogađa svoje granice
Power ograničenja, rastući troškovi tokena i kašnjenja zaključivanja preoblikovaju Enterprise AI. Pridružite se našem ekskluzivnom salonu kako biste otkrili kako su vrhunski timovi:
- Pretvaranje energije u stratešku prednost
- Arhitekturiste učinkovite zaključke za stvarne propusne dobitke
- Otključavanje natjecateljskog ROI -a s održivim AI sustavima
Osigurajte svoje mjesto da ostanete naprijed:: https://bit.ly/4mwgngo
Sadržaj objave
Pravi trošak AI: Zašto ‘jeftiniji’ modeli mogu prekinuti vaš proračun
Ispitano istraživanje 19 različitih AI modela Kroz tri kategorije zadataka: osnovna pitanja znanja, matematički problemi i logičke zagonetke. Tim je izmjerio “učinkovitost tokena” – koliko modela računalnih jedinica koristi u odnosu na složenost svojih rješenja – metriku koja je dobila malo sustavne studije unatoč značajnim posljedicama troškova.
“Učinkovitost tokena kritična je metrika iz nekoliko praktičnih razloga”, primijetili su istraživači. “Iako bi hosting modela otvorene težine mogao biti jeftiniji, ta se troškovna prednost može lako nadoknaditi ako zahtijevaju više tokena da bi razmotrili određeni problem.”
Neučinkovitost je posebno izražena za velike modele obrazloženja (LRMS), koji koriste produženo “Lanci misli„Za rješavanje složenih problema. Ovi modeli, osmišljeni da razmišljaju kroz probleme korak po korak, mogu konzumirati tisuće tokena koji razmišljaju o jednostavnim pitanjima koja bi trebala zahtijevati minimalno računanje.
Za pitanja osnovnih znanja poput “Koji je glavni grad Australije?” Studija je utvrdila da modeli rasuđivanja troše “stotine tokena razmišljajući o jednostavnim pitanjima znanja” na koje bi se moglo odgovoriti jednom riječju.
Koji AI modeli zapravo isporučuju prasak za vaš dolar
Istraživanje je otkrilo velike razlike između pružatelja modela. OpenAijevi modeli, posebno njegovi o4-mini i novo objavljeni otvoreni kos GPT-OS Varijante, pokazale su izuzetnu učinkovitost tokena, posebno za matematičke probleme. Studija je utvrdila da su otvoreni modeli „ističu se za ekstremnu učinkovitost tokena u matematičkim problemima“, koristeći do tri puta manje tokena od ostalih komercijalnih modela.
Među opcijama otvorenog koda, Nvidia Llama-3.3-Nemotron-Super-49B-V1 Pojavio se kao “najneobičniji model učinkovitog učinkovitog otvorene težine u svim domenama”, dok su noviji modeli tvrtki poput Magistral pokazali “izuzetno visoku upotrebu tokena” kao odmetnike.
Jaz u učinkovitosti značajno je varirao prema vrsti zadatka. Iako su otvoreni modeli koristili otprilike dvostruko više tokena za matematičke i logičke probleme, razlika je balona za jednostavna pitanja znanja u kojima bi učinkovito obrazloženje trebalo biti nepotrebno.
Što čelnici poduzeća trebaju znati o troškovima računanja AI
Nalazi imaju trenutne posljedice na usvajanje poduzeća AI, gdje troškovi računanja mogu brzo skalirati s upotrebom. Tvrtke koje procjenjuju AI modele često se usredotočuju na referentne vrijednosti točnosti i cijene po cijenama, ali mogu zanemariti ukupne računalne zahtjeve za zadatke u stvarnom svijetu.
“Bolja učinkovitost modela zatvorene težine često nadoknađuje veće cijene API -ja tih modela”, otkrili su istraživači prilikom analize ukupnih troškova zaključivanja.
Studija je također otkrila da se čini da pružatelji modela zatvorenog koda aktivno optimiziraju učinkovitost. “Modeli zatvorene težine iterativno su optimizirani za upotrebu manje tokena za smanjenje troškova zaključivanja”, dok su modeli otvorenog koda “povećali svoju tokensku upotrebu za novije verzije, što bi moglo odražavati prioritet prema boljim rasudnim performansama.”
Kako su istraživači pucali kod na mjerenje AI učinkovitosti
Istraživački tim suočio se s jedinstvenim izazovima u mjerenju učinkovitosti u različitim arhitekturama modela. Mnogi modeli zatvorenog izvora ne otkrivaju svoje sirove postupke obrazloženja, umjesto toga pružaju komprimirane sažetke svojih unutarnjih izračuna kako bi se natjecatelji spriječili da kopiraju njihove tehnike.
Da bi se to riješili, istraživači su koristili tokene za završetak – ukupne računske jedinice koje su naplaćene za svaki upit – kao posrednik za napore na rasuđivanju. Otkrili su da “najnoviji modeli zatvorenog izvora neće dijeliti svoje tragove sirovog rasuđivanja”, a umjesto toga “koristite manje jezične modele za prepisivanje lanca misli u sažetke ili komprimirane prikaze.”
Metodologija studije uključivala je testiranje s modificiranim verzijama dobro poznatih problema kako bi se smanjio utjecaj pamćenih rješenja, poput promjene varijabli u matematičkim problemima Američki invitativni matematički ispit (AIME).
Budućnost učinkovitosti AI: što slijedi
Istraživači sugeriraju da bi učinkovitost tokena trebala postati primarni cilj optimizacije zajedno s točnošću za budući razvoj modela. “Densiraniji krevetić također će omogućiti učinkovitiju upotrebu konteksta i može se suprotstaviti degradaciji konteksta tijekom zahtjevnih zadataka obrazloženja”, ” Napisali su.
Izdanje OpenAi-ovog otvorenog koda GPT-OS modelišto pokazuje najmoderniju učinkovitost s „slobodno dostupnim krevetićem“, mogla bi poslužiti kao referentna točka za optimizaciju drugih modela otvorenog koda.
Kompletni skup podataka o istraživanju i evaluacijski kod su Dostupno na GitHub -uomogućujući drugim istraživačima da potvrde i proširuju nalaze. Kako AI industrija utrčava prema snažnijim mogućnostima rasuđivanja, ova studija sugerira da se prava konkurencija možda ne odnosi na to tko može izgraditi najpametniji AI – ali tko može izgraditi najučinkovitije.
Uostalom, u svijetu u kojem se svaki token broji, najbavniji modeli mogu se naći cijene na tržištu, bez obzira na to koliko dobro mogu misliti.
Web izvor