TII-jev Falcon H1R 7B može nadmašiti modele do 7x svoje veličine — i (uglavnom) je otvoren

Posljednje dvije godine prevladavajuća logika u generativnoj umjetnoj inteligenciji bila je logika grube sile: ako želite bolje rezoniranje, potreban vam je veći model.

Dok "mali" modeli (ispod 10 milijardi parametara) postali su sposobni sugovornici, povijesno su se raspadali kada se od njih tražilo da izvedu logičku dedukciju u više koraka ili složene matematičke dokaze.

Danas Institut za tehnološke inovacije (TII) u Abu Dhabiju osporava taj zakon o skaliranju s izdanje Falcon H1R 7B.

Napuštanjem čiste Transformerove ortodoksije u korist hibridne arhitekture, TII tvrdi da je izgradio model od 7 milijardi parametara koji ne samo da se nadmašuje, već i nadmašuje konkurente gotovo 7X svoje veličine — uključujući 32B i 47B varijante Alibabinog Qwena i Nvidijinog Nemotrona.

Izdanje označava značajan pomak u ekosustavu otvorene težine, pomičući bojno polje s broja sirovih parametara na arhitektonsku učinkovitost i skaliranje vremena zaključivanja.

puna šifra modela je sada dostupna na Hugging Face i mogu ga ispitati pojedinci u demo zaključivanju uživo Falcon Chat (iskustvo chatbota). TII je nadalje objavio naizgled prilično opsežan tehnički izvještaj o pristupu i metodologiji obuke za Falcon H1 7B, također.

Nadilazeći temeljni LLM Tech, Transformer

Definirajuća značajka Falcona H1R 7B je njegova "hibrid" okosnica. Većina modernih LLM-ova oslanja se isključivo na arhitekturu Transformer, koja se predvidljivo skalira, ali pati od visokih troškova memorije pri obradi dugih nizova.

Falcon H1R 7B integrira Mambu, model prostora stanja (SSM) arhitekturu, uz standardne Transformer slojeve pažnje.

Izvorno su je razvili istraživači Albert Gu i Tri Dao sa Sveučilišta Carnegie Mellon i Princeton, Mamba je prvi put predstavljena u radu "Mamba: Modeliranje linearnog vremenskog slijeda sa selektivnim prostorima stanja" objavljeno 1. prosinca 2023.

Arhitektura obrađuje sekvence podataka drugačije od Transformersa: dok Transformers uspoređuje svaki dio podataka sa svakim drugim (kvadratno skaliranje), Mamba obrađuje tokene sekvencijalno, što mu omogućuje rukovanje golemim količinama informacija uz linearno skaliranje i značajno smanjene troškove izračuna.

Ova kombinacija rješava jedno od najupornijih uskih grla u implementaciji modela rezoniranja: trošak "razmišljanje." Modeli rasuđivanja zahtijevaju generiranje dugog "lanci misli"—unutarnji monolozi korak po korak—prije nego što se dođe do odgovora. Za standardne transformatore, ovi dugi konteksti eksplodiraju računalne troškove.

Prema TII-jevom tehničkom izvješću, hibridni pristup omogućuje Falconu H1R 7B da održi visoku propusnost čak i dok duljina odgovora raste. Pri veličini serije od 64, model obrađuje približno 1500 tokena u sekundi po GPU-u — što je gotovo dvostruko više od brzine konkurentskog modela Qwen3 8B.

Referentna izvedba: Punching Up

U mjerilima koje je objavio TII, razlika između veličine Falcon H1R 7B i njegovih performansi je velika. Na AIME 2025 ploča s najboljim rezultatima—rigorozan test matematičkog razmišljanja—Falcon H1R 7B postigao je 83,1%rezultat koji remeti tradicionalnu hijerarhiju veličine modela.

Dok model 7B prirodno prati ogromne vlasničke granice poput GPT-5.2 (99,0%) i Blizanac 3 (97,0%) na zasebni indeks umjetne analize (koju vodi istoimena neovisna organizacija, koja još nije usporedila Falcon H1R 7B), učinkovito je smanjio jaz između "učinkovita" otvoreni utezi i vlasnički sustavi srednje razine.

• Beating Larger "Mislioci": Falcon H1R 7B (83,1%) nadmašuje parametar od 15 milijardi Apriel-v1.6-Mislilac (82,7%) i parametar 32 mlrd OLMo 3 Razmisli (73,7%), potvrđujući TII-jevu tvrdnju da hibridne arhitekture mogu nadmašiti veće Transformerse.

• Jurnjava za vlasničkim liderima: Nalazi se na dohvat ruke od Claude 4,5 Sonet (88,0%) i Amazon Nova 2.0 Lite (88,7%), što sugerira da je za određene matematičke tijekove rada ovaj model 7B održiva alternativa niske latencije skupim komercijalnim API-jima.

• Nadmašili Legacy Giants: Po ovoj specifičnoj metrici razmišljanja, odlučno pobjeđuje široko sposobne, ali starije arhitekture poput Mistral veliki 3 (38,0%) i Lama 4 Maverick (19,3%), ističući kako je specijalizirana obuka zaključivanja ("Duboko razmisli") postala je kritičnija od sirove ljestvice za logičke zadatke.

Druge ključne pobjede na domeni uključuju:

• Kodiranje: Model postignut 68,6% na LCB v6 mjerilu, TII tvrdi da je rezultat najviši među svim testiranim modelima, uključujući one četiri puta veće od njegove veličine.

• Opće obrazloženje: Iako dominira u matematici i kodiranju, njegov opći rezultat rasuđivanja (49,48%) ostaje konkurentan, tik ispod modela parametara 14B i 15B, ali udobno ispred usporedivih modela 8B.

Tehnike treninga

Performanse Falcona H1R 7B nisu samo arhitektonske; proizlazi iz rigoroznog, dvostupanjskog cjevovoda za obuku osmišljenog za maksimiziranje gustoće razmišljanja bez povećanja broja parametara, prema TII tehničko izvješće na modelu.

Faza 1: Fino ugađanje s nadzorom hladnog pokretanja (SFT). Model je podvrgnut "hladni start" SFT na odabranom skupu podataka u kojem dominira matematika (56,8% tokena) i kod (29,8%), s duljinom odgovora koja se proteže do 48 000 tokena.

• Ponderiranje s obzirom na poteškoće: TII je odbacio standardnu ​​praksu jednakog tretiranja svih podataka. Umjesto toga, primijenili su shemu ponderiranja gdje "teško" problemima je povećana težina za 1,25x do 1,75x, dok su laki problemi smanjeni ili u potpunosti uklonjeni kako bi se spriječilo pretjerano prilagođavanje trivijalnim zadacima.

• Dosljednost s jednim nastavnikom: Studije ablacije otkrile su da miješanje tragova razmišljanja iz višestrukih "učitelj" modeli su zapravo degradirali izvedbu zbog sukobljenih stilova rezoniranja. Slijedom toga, TII se odlučio za pristup s jednim nastavnikom kako bi održao koherentnu internu logiku.

• Normalizacija uravnoteženog tokena: Kako bi se nosio s velikom varijacijom u duljini niza (kratke upute u odnosu na masivne lance razmišljanja), tim je uveo strategiju normalizacije uravnoteženih podataka i paralelnih tokena. Ova tehnika izjednačava doprinos gradijenta svakog tokena na svim GPU-ovima, sprječavajući redove s kraćim sekvencama da destabiliziraju gubitak – promjena koja je donijela dosljedno povećanje točnosti od 4-10% tijekom obuke.

Faza 2: Učenje pojačanja putem optimizacije grupne relativne politike (GRPO). Nakon SFT-a, model je usavršen korištenjem GRPO-a, algoritma učenja s pojačanjem koji nagrađuje točne ishode bez potrebe za zasebnim modelom vrijednosti.

• The "Ne-KL" pomak: U odstupanju od standardnog RLHF-a, TII je u potpunosti uklonio kaznu za KL-divergenciju (beta=0). To je omogućilo modelu da značajno odstupi od svoje osnovne SFT politike, potičući agresivno istraživanje novih putova razmišljanja.

• Kurikulum samo za matematiku: Iznenađujuće, TII je otkrio da je obuka isključivo o matematičkim problemima tijekom RL faze dala bolju generalizaciju u svim domenama – uključujući kod i znanost – nego mješovite strategije. Ablacije su to pokazale "samo kod" obuka je poboljšala rezultate kodiranja, ali je naštetila općem rasuđivanju, dok je RL usmjeren na matematiku podigao izvedbu na globalnoj razini.

TII je optimizirao model posebno za Test-Time Scaling (TTS), tehniku ​​u kojoj model paralelno generira više puta razmišljanja kako bi pronašao najbolje rješenje.

Model koristi Deep Think with Confidence (DeepConf), koji iskorištava unutarnje rezultate pouzdanosti modela za dinamičko smanjenje tragova razmišljanja niske kvalitete.

• Adaptivno obrezivanje: Tijekom generiranja, sustav pokreće a "zagrijavanje" faza sa 16 tragova za uspostavljanje baze pouzdanosti. Zatim agresivno filtrira sljedeće tragove, prekidajući svaki lanac koji padne ispod 10. percentila osnovne pouzdanosti.

• Dobici učinkovitosti: Ova metoda stvara novu Pareto granicu za implementaciju. U referentnim testovima, Falcon H1R 7B postigao je 96,7% točnosti na AIME 25 uz smanjenje upotrebe tokena za 38% u usporedbi s osnovnom linijom DeepSeek-R1-0528-Qwen3-8B.

Licenciranje: otvoreno za komercijalnu upotrebu, ali s priloženim uvjetima

TII je izdao Falcon H1R 7B pod narudžbom Falcon LLM licenca 1.0 temeljen na Apacheu 2.0 — ali sa značajnim izmjenama — među kojima je glavno: ne voditi parnicu protiv TII-a i također ga uvijek pripisivati.

Za programere i startupe, licenca je u velikoj mjeri popustljiva:

• Bez naknade: Korisnici mogu pokrenuti, modificirati i komercijalno distribuirati model bez plaćanja TII.

• Atribucija: Bilo koji izvedeni rad (uključujući fina podešavanja) mora jasno navesti: "[Name of work] izgrađen je pomoću tehnologije Falcon LLM s Instituta za tehnološke inovacije".

Međutim, za razliku od čiste licence Open Source Initiative (OSI), licenca Falcon uključuje strogu Politiku prihvatljivog korištenja (AUP).

Licenca automatski prestaje ako se model koristi za stvaranje djela koje je u sukobu s AUP-om ili ako korisnik pokrene patentnu parnicu protiv TII-ja.

Konkretno, AUP zabranjuje korištenje Falcon H1R 7B ili njegovih derivata za:

• Kršenje zakona: Svaka uporaba koja krši važeće nacionalne, savezne, državne, lokalne ili međunarodne zakone ili propise.

• Oštećivanje maloljetnika ili živih bića: Iskorištavanje, nanošenje štete ili pokušaj iskorištavanja ili nanošenja štete maloljetnicima ili bilo kojem živom biću.

• Dezinformacija: Generiranje ili širenje dokazano lažnih informacija sa svrhom nanošenja štete drugima.

• Uznemiravanje: Klevetanje, omalovažavanje ili na neki drugi način uznemiravanje drugih.

Hibridni val: Nvidia, IBM, AI21 i Mistral

TII nije jedini koji se kladi na ovu hibridnu budućnost; industrija se sve više kreće prema arhitekturama koje spajaju prednosti SSM-a i transformatora.

• Nvidia nedavno je debitirao Obitelj Nemotron 3 15. prosinca 2025., koji koristi hibridnu mješavinu stručnjaka (MoE) i Mamba-Transformer dizajn za pokretanje učinkovite agentske umjetne inteligencije.

• IBM pokrenuo svoj Obitelj Granite 4.0 2. listopada 2025., koristeći hibridnu Mamba-Transformer arhitekturu za smanjenje zahtjeva za memorijom za više od 70% uz zadržavanje visokih performansi na poslovnim mjerilima.

• AI21 nastavio je tim putem sa svojim modelima Jamba (Joint Attention i Mamba), izdajući Jamba 1.5 obitelj 22. kolovoza 2024., kako bi se poboljšale agentičke AI sposobnosti kroz hibridni pristup SSM-Transformer.

• maestral rano ušao u prostor sa Kodna mamba 16. srpnja 2024., model posebno optimiziran za brže, dulje generiranje koda.

Falcon H1R 7B predstavlja najnoviju evoluciju u ovom trendu, posebno ciljajući na zadatke gustog razmišljanja u kompaktnom obliku.

Web izvor