Meta je odgovor na Deepseek ovdje: LLAMA 4 lansira s dugim modelima izviđača i maverick modela i 2T parametra behemoth na putu!

Cijeli AI krajolik pomaknuo se u siječnju 2025. nakon što je tada malo poznati kineski AI pokretač Deepseeka (podružnica tvrtke kvantitativne analize sa sjedištem u Hong Kongu, High-Flyer Capital Management) lansirao svoj moćan model obrazloženja otvorenog izvora DeepSeek R1 javno u svijet, najbolje što su američke divove.

Kako se upotreba Deepseeka brzo proširila među istraživačima i poduzećima, Meta je navodno poslana u način panike Saznavši da je ovaj novi model R1 obučen za djelić troškova mnogih drugih vodećih modela, ali ih je nadmašio za samo nekoliko milijuna dolara – što plaća neke od svojih čelnika AI tima.

Meta cijela generativna AI strategija bila je do tog trenutka objavljenih modela otvorenog koda u klasi pod nazivom „Llama“ za istraživače i kompanije da se slobodno grade (barem, ako su imali manje od 700 milijuna mjesečnih korisnika, u kojem bi točku trebale kontaktirati Meta za posebne uvjetima plaćenih licenciranja).

Ipak, Deepseek R1 zapanjujuće dobar učinak na daleko manjem proračunu navodno je uzdrmao vodstvo tvrtke i prisilio neku vrstu računanja, s posljednjom verzijom Llama, 3.3nakon što je objavljen samo mjesec dana prije u prosincu 2024., ali već je gledao zastarjelo.

Sada znamo plodove tog računa: danas, Meta osnivač i izvršni direktor Mark Zuckerberg izveo se na svoj Instagram račun najaviti a Nova serija modela Llama 4s dvojicom od njih-parametar od 400 milijardi llama 4 maverick i 109 milijardi parametara Llama 4 izviđača-danas dostupni za programere da preuzmu i započne s korištenjem ili fino prilagođavanjem sada dalje llama.com i zajednice za dijeljenje AI koda Zagrljaj lica.

Danas se također pregledava masivni parametar 2-trilijuna Llama 4 Behemoth, Iako je Meta blog o izdanjima rekao je da se još uvijek obučava i nije dao naznake kada bi mogao biti pušten. (Podsjetimo parametri odnose se na postavke koje upravljaju ponašanjem modela i koje općenito više znače moćnije i složenije cijeloj okolini.)

Jedna značajka ovih modela je da su svi multimodalni – obučeni i stoga sposobni primiti i generirati tekst, video i slike (Hough Audio nije spomenut).

Drugi je to što imaju nevjerojatno duge prozore konteksta – milijun tokena za Llama 4 Maverick i 10 milijuna za Llama 4 Scout – što je ekvivalentno oko 1500 i 15.000 stranica teksta, a sve to model može podnijeti u jednoj ulaznoj/izlaznoj interakciji. To znači da bi korisnik teoretski mogao prenijeti ili zalijepiti do 7.500 teksta, a to je toliko zauzvrat od Llama 4 Scout-a, što bi bilo korisno za polja gusta informacija kao što su medicina, znanost, inženjering, matematika, literatura itd.

Evo što smo još naučili o ovom izdanju do sada:

All-In na smjesi-pregledi

Sva tri modela koriste arhitekturski pristup “Mješavina (MOE)” populariziran u ranijim izdanjima modela s OpenAi i Mistral, koji u osnovi kombinira više manjih modela specijaliziranih („stručnjaci“) u različitim zadacima, ispitanicima i medijskim formatima u jedinstveni cjeloviti, veći model. Kaže se da je svako izdanje Llama 4 stoga mješavina od 128 različitih stručnjaka i učinkovitije za pokretanje jer je samo stručnjak potreban za određeni zadatak, plus “zajednički” stručnjak, obrađuje svaki token, umjesto da cijeli model mora pokrenuti za svaki.

Kao Llama 4 Blog Post Bilješke:

Kao rezultat toga, iako su svi parametri pohranjeni u memoriji, aktivira se samo podskup ukupnih parametara tijekom posluživanja ovih modela. To poboljšava učinkovitost zaključivanja smanjenjem modela koji poslužuju troškove i kašnjenje – llama 4 maverick može se pokrenuti na jednom [Nvidia] H100 DGX domaćin za jednostavno implementaciju ili s distribuiranim zaključivanjem za maksimalnu učinkovitost.

I izviđač i Maverick dostupni su javnosti za samostalno hosting, dok za službenu meta infrastrukturu nisu najavljeni API ili nizovi za cijene. Umjesto toga, Meta se fokusira na distribuciju putem otvorenog preuzimanja i integracije s Meta AI u WhatsApp, Messenger, Instagram i Web.

Meta procjenjuje trošak zaključivanja za LLAMA 4 Maverick od 0,19 do 0,49 USD na 1 milijuna tokena (koristeći mješavinu unosa i izlaza od 3: 1). To ga čini znatno jeftinijim od vlasničkih modela poput GPT-4O, za koje se procjenjuje da će koštati 4,38 USD na milijun tokena, na temelju referentnih vrijednosti zajednice.

Sva tri modela Llama 4-posebno Maverick i Behemoth-izričito su dizajnirana za rasuđivanje, kodiranje i korak po korak rješavanje problema-iako se čini da ne pokazuju lance promišljenih modela posvećenih rasuđivanja poput serije OpenAi “O”, niti Deepseek R1.

Umjesto toga, čini se da su dizajnirani da se izravno natječu s “klasičnim”, neraspoloženim LLM-ovima i multimodalnim modelima kao što su OpenAi’s GPT-4O i Deepseekov V3-s izuzetkom Llama 4 Behemoth, koji učiniti Izgleda da prijeti Deepseeku R1 (više o ovome u nastavku!)

Pored toga, za LLAMA 4, meta izgrađena prilagođena cjevovodi nakon treninga usredotočene su na poboljšanje obrazloženja, poput:

• Uklanjanje preko 50% “lakih” upita tijekom nadziranog finog podešavanja.
• Usvajanje petlje za učenje kontinuiranog pojačanja s progresivno težim uputama.
• Korištenje prolaznog@k evaluacije i uzorkovanja kurikuluma za jačanje performansi u matematici, logici i kodiranju.
• Implementirajući Metap, novu tehniku ​​koja omogućuje inženjerima da na modelima podešavaju hiperparametre (poput stope učenja po sloju) i primjenjuju ih na druge veličine modela i vrste tokena uz očuvanje predviđenog ponašanja modela.

Metap je od posebnog interesa jer bi se mogao koristiti naprijed za postavljanje hiperparametra na modelu, a zatim iz njega izvući mnoge druge vrste modela, povećavajući učinkovitost treninga.

Kako je moj kolega iz VentureBeat-a i stručnjak za LLM Ben Dickson smatrao da je nova tehnika Metap: “Ovo može uštedjeti puno vremena i novca. To znači da oni pokreću eksperimente na manjim modelima, umjesto da ih rade na velikim razmjerima.”

To je posebno kritično kada su modeli treninga velikim kao Behemoth, koji koristi preciznost 32K GPU -a i FP8, postižući 390 TFLOPS/GPU preko više od 30 trilijuna tokena – više nego dvostruko više od podataka o treningu Llama 3.

Drugim riječima: istraživači mogu široko reći modelu kako žele da djeluje, a to primijeniti na veću i manju verziju modela i kroz različite oblike medija.

Moćan – ali još ne a većina Snažan – Model Obitelj

U njegovom Videozapis o najavi na Instagramu (Meta podružnica, naravno), izvršni direktor Meta Mark Zuckerberg rekao je da je kompanija „cilj izgraditi vodeći svjetski AI, otvoreni izvor i učiniti ga univerzalno dostupnim tako da svi u svijetu koristi … već neko vrijeme sam rekao da će otvoreni izvor AI postati vodeći modeli, a s Llama 4, koji se počinje.“

To je očito pažljivo napisana izjava, kao što je Meta blog Pošta poziva Llama 4 izviđača, „Najbolji multimodalni model na svijetu u svojoj klasi i moćniji je od svih prethodnih modela generacije LLAMA “, (naglasak je dodao ja).

Drugim riječima, to su vrlo moćni modeli, u blizini vrha gomile u usporedbi s drugima u njihovoj klasi veličine parametara, ali ne i nužno postavljanje novih zapisa o performansama. Unatoč tome, Meta je želio trubiti modele svoje nove lamske porodice, među njima:

Lama 4 behemoth

• Nadmašuje GPT-4.5, GEMINI 2.0 Pro i Claude Sonnet 3.7 na:
  • Math-500 (95.0)
  • GPQA Diamond (73,7)
  • MMLU Pro (82.2)

Llama 4 Maverick

• Beats GPT-4O i GEMINI 2.0 Flash na većini multimodalnih referentnih vrijednosti:
  • Chartqa, Docvqa, Mathvista, MMMU
• Konkurentno s DeepSeek v3.1 (45,8b parametra) dok koristi manje od polovice aktivnih parametara (17b)
• Benchmark rezultati:
  • CARTQA: 90.0 (vs. GPT-4O’s 85.7)
  • DOCVQA: 94.4 (vs. 92.8)
  • MMLU Pro: 80.5
• Ekonomično: 0,19 do 0,49 USD po 1 m tokena

Llama 4 izviđač

• Podudara ili nadmašuje modele poput Mistral 3.1, Blizanci 2.0 Flash-Lite i Gemma 3 na:
  • Docvqa: 94.4
  • MMLU Pro: 74.3
  • Mathvista: 70.7
• Neusporediva dužina konteksta od 10m tokena-idealna za duge dokumente, baze kodova ili višestruko okretna analiza
• Dizajniran za učinkovito implementaciju na jednom H100 GPU -u

Ali nakon svega toga, kako se Llama 4 slaže do Deepseeka?

Ali naravno, postoje sasvim druga klasa modela teških obrazloženja poput Deepseeka R1, OpenAijeve serije “O” (poput GPT-4O), BEMINI 2.0 i CLAUDE SONNET.

Koristeći model najvišeg parametara-Bench označen-llama 4 behemoth-i uspoređujući ga s grafikonom izdanja Intial Deepseek R1 za modele R1-32B i Openai O1, evo kako se slaže Llama 4 Behemoth:

Mjerač	Lama 4 behemoth	Deepseek R1	OpenAi O1-1217
Matematika-500	95.0	97.3	96.4
GPQA dijamant	73.7	71.5	75.7
Mmlu	82.2	90.8	91.8

Što možemo zaključiti?

• Math-500: Llama 4 behemoth je malo iza Deepseek R1 i OpenAi O1.
• GPQA Diamond: Behemoth je ispred Deepseeka r1, ali iza Openai O1.
• MMLU: Behemoth prati oboje, ali još uvijek nadmašuje GEMINI 2.0 Pro i GPT-4.5.

Takeaway: Dok DeepSeek R1 i OpenAi O1 Out Behemoth na par mjernih podataka, Llama 4 Behemoth ostaje vrlo konkurentna i nastupa na ili blizu vrha vodeće ploče u svojoj klasi.

Sigurnost i manje političke ‘pristranosti’

Meta je također naglasila poravnavanje i sigurnost modela uvođenjem alata poput Llama Guard-a, brzog čuvara i cyberseceval-a kako bi programerima pomogli da otkriju nesigurne ulazne/izlazne ili protivničke upute i primjenjuju generativno testiranje ofenzivnog agensa (koza) za automatizirano crveno-topiranje.

Tvrtka također tvrdi da Llama 4 pokazuje značajno poboljšanje u „političkoj pristranosti“ i kaže „konkretno, [leading LLMs] Povijesno su se nagnuli lijevo kad su u pitanju raspravljane o političkim i društvenim temama, “da to Llama 4 bolje udvara u desnom krilu … u skladu s tim Zuckerbergov zagrljaj republikanskog američkog predsjednika Donalda J. Trumpa i njegova stranka nakon izbora 2024. godine.

Gdje stoji Llama 4

Meta modeli LLAMA 4 okupljaju učinkovitost, otvorenost i vrhunske performanse u multimodalnim i obrazloženim zadacima.

S izviđačem i Maverickom koji su sada javno dostupni i Behemoth pregledani kao vrhunski učiteljski model, ekosustav LLAMA pozicioniran je kako bi ponudio konkurentnu otvorenu alternativu vrhunskim vlasničkim modelima iz OpenAI, Anthrop, DeepSeek i Google.

Bez obzira na to da li gradite asistente za poslovne mreže, AI istraživačke cjevovode ili analitičke alate dugog konteksta, LLAMA 4 nudi fleksibilne, velike performanse s jasnom orijentacijom prema dizajnu prvog rasuđivanja.