Taj ‘jeftini’ AI model otvorenog koda zapravo gori kroz vaš računalni proračun

Pravi trošak AI: Zašto ‘jeftiniji’ modeli mogu prekinuti vaš proračun

Ispitano istraživanje 19 različitih AI modela Kroz tri kategorije zadataka: osnovna pitanja znanja, matematički problemi i logičke zagonetke. Tim je izmjerio “učinkovitost tokena” – koliko modela računalnih jedinica koristi u odnosu na složenost svojih rješenja – metriku koja je dobila malo sustavne studije unatoč značajnim posljedicama troškova.

“Učinkovitost tokena kritična je metrika iz nekoliko praktičnih razloga”, primijetili su istraživači. “Iako bi hosting modela otvorene težine mogao biti jeftiniji, ta se troškovna prednost može lako nadoknaditi ako zahtijevaju više tokena da bi razmotrili određeni problem.”

Neučinkovitost je posebno izražena za velike modele obrazloženja (LRMS), koji koriste produženo “Lanci misli„Za rješavanje složenih problema. Ovi modeli, osmišljeni da razmišljaju kroz probleme korak po korak, mogu konzumirati tisuće tokena koji razmišljaju o jednostavnim pitanjima koja bi trebala zahtijevati minimalno računanje.

Za pitanja osnovnih znanja poput “Koji je glavni grad Australije?” Studija je utvrdila da modeli rasuđivanja troše “stotine tokena razmišljajući o jednostavnim pitanjima znanja” na koje bi se moglo odgovoriti jednom riječju.

Koji AI modeli zapravo isporučuju prasak za vaš dolar

Istraživanje je otkrilo velike razlike između pružatelja modela. OpenAijevi modeli, posebno njegovi o4-mini i novo objavljeni otvoreni kos GPT-OS Varijante, pokazale su izuzetnu učinkovitost tokena, posebno za matematičke probleme. Studija je utvrdila da su otvoreni modeli „ističu se za ekstremnu učinkovitost tokena u matematičkim problemima“, koristeći do tri puta manje tokena od ostalih komercijalnih modela.

Među opcijama otvorenog koda, Nvidia Llama-3.3-Nemotron-Super-49B-V1 Pojavio se kao “najneobičniji model učinkovitog učinkovitog otvorene težine u svim domenama”, dok su noviji modeli tvrtki poput Magistral pokazali “izuzetno visoku upotrebu tokena” kao odmetnike.

Jaz u učinkovitosti značajno je varirao prema vrsti zadatka. Iako su otvoreni modeli koristili otprilike dvostruko više tokena za matematičke i logičke probleme, razlika je balona za jednostavna pitanja znanja u kojima bi učinkovito obrazloženje trebalo biti nepotrebno.

Što čelnici poduzeća trebaju znati o troškovima računanja AI

Nalazi imaju trenutne posljedice na usvajanje poduzeća AI, gdje troškovi računanja mogu brzo skalirati s upotrebom. Tvrtke koje procjenjuju AI modele često se usredotočuju na referentne vrijednosti točnosti i cijene po cijenama, ali mogu zanemariti ukupne računalne zahtjeve za zadatke u stvarnom svijetu.

“Bolja učinkovitost modela zatvorene težine često nadoknađuje veće cijene API -ja tih modela”, otkrili su istraživači prilikom analize ukupnih troškova zaključivanja.

Studija je također otkrila da se čini da pružatelji modela zatvorenog koda aktivno optimiziraju učinkovitost. “Modeli zatvorene težine iterativno su optimizirani za upotrebu manje tokena za smanjenje troškova zaključivanja”, dok su modeli otvorenog koda “povećali svoju tokensku upotrebu za novije verzije, što bi moglo odražavati prioritet prema boljim rasudnim performansama.”

Kako su istraživači pucali kod na mjerenje AI učinkovitosti

Istraživački tim suočio se s jedinstvenim izazovima u mjerenju učinkovitosti u različitim arhitekturama modela. Mnogi modeli zatvorenog izvora ne otkrivaju svoje sirove postupke obrazloženja, umjesto toga pružaju komprimirane sažetke svojih unutarnjih izračuna kako bi se natjecatelji spriječili da kopiraju njihove tehnike.

Da bi se to riješili, istraživači su koristili tokene za završetak – ukupne računske jedinice koje su naplaćene za svaki upit – kao posrednik za napore na rasuđivanju. Otkrili su da “najnoviji modeli zatvorenog izvora neće dijeliti svoje tragove sirovog rasuđivanja”, a umjesto toga “koristite manje jezične modele za prepisivanje lanca misli u sažetke ili komprimirane prikaze.”

Metodologija studije uključivala je testiranje s modificiranim verzijama dobro poznatih problema kako bi se smanjio utjecaj pamćenih rješenja, poput promjene varijabli u matematičkim problemima Američki invitativni matematički ispit (AIME).

Budućnost učinkovitosti AI: što slijedi

Istraživači sugeriraju da bi učinkovitost tokena trebala postati primarni cilj optimizacije zajedno s točnošću za budući razvoj modela. “Densiraniji krevetić također će omogućiti učinkovitiju upotrebu konteksta i može se suprotstaviti degradaciji konteksta tijekom zahtjevnih zadataka obrazloženja”, ” Napisali su.

Izdanje OpenAi-ovog otvorenog koda GPT-OS modelišto pokazuje najmoderniju učinkovitost s „slobodno dostupnim krevetićem“, mogla bi poslužiti kao referentna točka za optimizaciju drugih modela otvorenog koda.

Kompletni skup podataka o istraživanju i evaluacijski kod su Dostupno na GitHub -uomogućujući drugim istraživačima da potvrde i proširuju nalaze. Kako AI industrija utrčava prema snažnijim mogućnostima rasuđivanja, ova studija sugerira da se prava konkurencija možda ne odnosi na to tko može izgraditi najpametniji AI – ali tko može izgraditi najučinkovitije.

Uostalom, u svijetu u kojem se svaki token broji, najbavniji modeli mogu se naći cijene na tržištu, bez obzira na to koliko dobro mogu misliti.