Meta Unleasses Llama API trči 18x brže od OpenAi: Cerebras Partnership isporučuje 2.600 tokena u sekundi

Meta najavio danas partnerstvo s Cerebrani sustavi da napadne svoj novi Apijenudeći programerima pristup brzini zaključivanja do 18 puta brže od tradicionalnih rješenja temeljenih na GPU-u.

Najava, objavljena na Inauguralnoj Meta Llalacon Konferencija programera u parku Menlo, pozicionira tvrtku da se izravno natječe Open,, Antropskii Google Na brzo rastućem tržištu usluga AI zaključivanja, gdje programeri kupuju žetone za milijarde kako bi napajali svoje prijave.

“Meta je odabrala cerebre za suradnju kako bi iznijela ultra brzi zaključak koji im je potreban da služe programerima putem svog novog LLAMA API-ja”, rekla je Julie Shin Choi, direktorica marketinga u cerebrasu, tijekom brifinga za novinare. “Mi u cerebrama zaista smo, jako uzbuđeni što smo najavili naše prvo CSP HyperScaler partnerstvo za pružanje ultra brzih zaključivanja svim programerima.”

Partnerstvo označava Meta-ov formalni ulazak u posao prodaje AI računanja, pretvarajući svoje popularne modele LLAMA otvorenog koda u komercijalnu uslugu. Dok su se metali llama akumulirali Milijarda preuzimanjaDo sada tvrtka nije ponudila oblačnu infrastrukturu prve strane za programere za izgradnju aplikacija s njima.

“Ovo je vrlo uzbudljivo, čak i bez posebno govora o cerebrima”, rekao je James Wang, viši izvršni direktor Cerebrasa. “OpenAi, antropski, Google – izgradili su cijeli novi AI posao ispočetka, što je posao AI zaključivanja. Programeri koji grade AI aplikacije kupit će tokene od milijardi, a to su poput novih izračunanih uputa koje ljudi trebaju izgraditi AI aplikacije.”

Razbijanje barijere za brzinu: kako su moždani modeli LLAMA modeli

Ono što Meta nudi izdvojeno je dramatično povećanje brzine koje pruža Cerebras ‘Specijalizirani AI čips. Sustav cerebrasa isporučuje 2.600 tokena u sekundi Za Llama 4 izviđača, u usporedbi s oko 130 tokena u sekundi za chatgpt i oko 25 tokena u sekundi za Deepseek, prema mjerilo Umjetna analiza.

“Ako samo uspoređujete na API-API osnovi, Blizanci i GPT, svi su oni sjajni modeli, ali svi oni trče brzinom GPU-a, što je otprilike 100 tokena u sekundi”, objasnio je Wang. “A 100 tokena u sekundi u redu je za chat, ali vrlo je sporo za rasuđivanje. Za agente je vrlo sporo. I ljudi se danas bore s tim.”

Ova prednost u brzini omogućava potpuno nove kategorije aplikacija koje su prethodno bile nepraktične, uključujući agente u stvarnom vremenu, razgovorne glasovne sustave s niskom kašnjenjem, interaktivno stvaranje koda i instant multi-step rezoniranje-za sve to zahtijevaju vezanje višestrukih poziva velikih jezičnih modela koji se sada mogu dovršiti u sekundi, a ne za nekoliko minuta.

A Apije Predstavlja značajan pomak u Meta AI strategiji, prelazeći iz prvenstveno davatelja modela postaje AI infrastrukturna kompanija s punom uslugom. Nudeći uslugu API -ja, Meta stvara tok prihoda od svojih AI ulaganja, zadržavajući svoju opredijeljenost za otvaranje modela.

“Meta se sada bavi prodajom tokena, a izvrstan je za američku vrstu AI ekosustava”, primijetio je Wang tijekom konferencije za novinare. “Donose puno na stol.”

API će ponuditi alate za precizno prilagođavanje i procjenu, počevši od LLAMA 3.3 8B modelomogućujući programerima da generiraju podatke, treniraju na njemu i testiraju kvalitetu svojih prilagođenih modela. Meta naglašava da neće koristiti podatke o klijentima za obuku vlastitih modela, a modeli izgrađeni pomoću LLAMA API -ja mogu se prenijeti na druge domaćine – jasnu razliku od zatvorenih pristupa nekih konkurenata.

Cerebras će napajati novu uslugu Meta putem svoje mreže podatkovnih centara koji se nalaze u cijeloj Sjevernoj Americi, uključujući objekte u Dallasu, Oklahomi, Minnesoti, Montrealu i Kaliforniji.

“Svi naši podatkovni centri koji služe zaključivanju su u ovom trenutku u Sjevernoj Americi”, objasnio je Choi. “Mi ćemo poslužiti meta s punim kapacitetom cerebri. Radno opterećenje će biti uravnoteženo u svim tim različitim podatkovnim centrima.”

Poslovni aranžman slijedi ono što je Choi opisao kao “klasični davatelj računala na hiperscaler” model, slično kao što NVIDIA pruža hardver glavnim pružateljima usluga u oblaku. “Oni rezerviraju blokove našeg računanja da mogu služiti svojoj populaciji programera”, rekla je.

Iza cerebrasa, Meta je također najavila partnerstvo s Groqom Da biste pružili brze mogućnosti zaključivanja, davanje programerima višestrukih alternativa visokih performansi izvan tradicionalnog zaključka utemeljenog na GPU-u.

Meta ulazak na tržište zaključivanja API -ja s superiornim mjernim podacima mogao bi potencijalno poremetiti utvrđeni red u kojem dominira Open,, Googlei Antropski. Kombinirajući popularnost svojih modela otvorenog koda s dramatično bržim mogućnostima zaključivanja, Meta se pozicionira kao nevjerojatan konkurent u komercijalnom AI prostoru.

“Meta je u jedinstvenom položaju s 3 milijarde korisnika, hiper-razmjera podataka i ogromnim ekosustavima programera”, prema cerebrasnim prezentacijskim materijalima. Integracija cerebras tehnologije “pomaže Meta LeapFrog OpenAi i Google u performansama otprilike 20x.”

Za cerebre, ovo partnerstvo predstavlja veliku prekretnicu i validaciju svog specijaliziranog AI hardverskog pristupa. “Godinama gradimo ovaj motor s vafelom i uvijek smo znali da je prva cijena tehnologije, ali na kraju to mora završiti kao dio tuđeg hiperskalenog oblaka. To je bila konačna meta iz perspektive komercijalne strategije i konačno smo postigli tu prekretnicu”, rekao je Wang.

A Apije trenutno je dostupan kao ograničen pregled, a Meta planira širi uvođenje u narednim tjednima i mjesecima. Programeri zainteresirani za pristup ultra-brzim zaključcima LLAMA 4 mogu zatražiti rani pristup odabirom cerebri iz opcija modela unutar LLAMA API-ja.

“Ako zamislite programera koji ne zna ništa o cerebrima jer smo relativno mala tvrtka, oni mogu samo kliknuti dva gumba na standardnom softveru SDK-a Meta, generirati API ključ, odabrati zastavu cerebrasa, a onda se odjednom, njihovi tokeni obrađuju na divovskom motoru s vafom”, objasnio je Wang. “Takva vrsta da budemo na stražnjem kraju Meta cijelog ekosustava za razvojne programere samo su za nas.”

Meta izbor specijaliziranih silicija signalizira nešto duboko: U sljedećoj fazi AI -ja nije samo ono što vaši modeli znaju, već i koliko brzo mogu to misliti. U toj budućnosti brzina nije samo značajka – to je cijela poanta.