Želite pametnije uvide u vašu pristiglu poštu? Prijavite se za naše tjedne biltene kako biste dobili samo ono što je važno za vođe AI, podataka i sigurnosti. Pretplatite se sada
Mali modeli imaju trenutak. Na petu od puštanja novog AI modela vida Dovoljno mali da se uklopi u pametni sat od MIT spinoff tekućeg ai i modela dovoljno mali da se pokrene na pametnom telefonu od Googlea, Nvidia se danas pridružuje zabavi s Novi model malog jezika (SLM) svoj, Nemotron-nano-9b-v2što je postiglo najveće performanse u svojoj klasi na odabranim mjerilima i dolazi s mogućnošću da korisnici uključe i isključe AI “rezoniranje”, to jest, samoprovjeri prije nego što izvede odgovor.
Dok je 9 milijardi parametara veći od nekih višemilijunskih parametara koji su mali modeli koji su VentureBeat pokrili nedavnoNvidia napominje da je to značajno smanjenje od izvorne veličine od 12 milijardi parametara i dizajniran je tako da se uklopi u a Pojedinačni NVIDIA A10 GPU.
Kao Oleksii Kuchiaev, Nvidia direktor AI modela nakon treninga, rekao na x Kao odgovor na pitanje koje sam mu podnio: „12B je obrezan na 9B kako bi posebno uklopio A10, što je popularni GPU izbor za implementaciju. To je i hibridni model koji mu omogućuje obradu veće veličine serije i do 6x brže od modela transformatora slične veličine. “
Za kontekst, mnogi vodeći LLM -ovi nalaze se u rasponu parametara od 70 milijardi milijardi (Parametri opoziva odnose se na unutarnje postavke koje reguliraju ponašanje modela, s općenito označavajući veći i sposobniji, a opet računajući intenzivni model).
AI skaliranje pogađa svoje granice
Power ograničenja, rastući troškovi tokena i kašnjenja zaključivanja preoblikovaju Enterprise AI. Pridružite se našem ekskluzivnom salonu kako biste otkrili kako su vrhunski timovi:
- Pretvaranje energije u stratešku prednost
- Arhitekturiste učinkovite zaključke za stvarne propusne dobitke
- Otključavanje natjecateljskog ROI -a s održivim AI sustavima
Osigurajte svoje mjesto da ostanete naprijed:: https://bit.ly/4mwgngo
Model obrađuje više jezika, uključujući engleski, njemački, španjolski, francuski, talijanski, japanski i u proširenim opisima, korejskim, portugalskim, ruskim i kineskim. Pogodan je za oboje Uputavanje i generiranje koda.
Nemotron-nano-9b-v2 I njegov Preduponirane skupove podataka Dostupno je odmah na zagrljaju lica i kroz katalog modela tvrtke.
Sadržaj objave
Fuzija arhitektura transformatora i mamba
Temelji se na Nemotron-Hskup hibridnih modela mamba-transformatora koji čine temelj za najnovije ponude tvrtke.
Iako su najpopularniji LLM -ovi čisti modeli „transformatora“, koji se u potpunosti oslanjaju na slojeve pažnje, oni mogu postati skupo u memoriji i izračunati kako rastu duljine slijeda.
Umjesto toga, Nemotron-H modeli i drugi koristeći Mamba arhitektura koju su razvili istraživači na Sveučilištu Carnegie Mellon i Princeton, također tkajte u selektivnim modelima prostora (ili SSMS), koji mogu podnijeti vrlo duge sekvence informacija u i izlasku održavanjem stanja.
Ovi se slojevi linearno razmjera s dužinom niza i mogu obraditi kontekst mnogo duže od standardne samostane bez iste memorije i izračunavanja nadzemnih troškova.
A hYbrid Mamba-transformator smanjuje te troškove zamjenjujući većinu pozornosti svemirskim slojevima linearnog vremena, postižući do 2–3 × veću propusnost u dugim kontekstima s usporedivom točnošću.
Ostali AI laboratoriji izvan Nvidia, poput AI2, također su objavili modele temeljene na Mamba arhitekturi.
Uključite na/obrazloženje pomoću jezika
Nemotron-Nano-9B-V2 pozicioniran je kao jedinstveni model razgovora i obrazloženje samo za tekst.
A Sustav zadane postavke za generiranje traga obrazloženja prije nego što daju konačni odgovor, iako korisnici mogu prebaciti ovo ponašanje Kroz jednostavne kontrolne tokene kao što su /razmislite ili /no_think.
Model također jaNtroducira upravljanje proračunom za vrijeme rada “koji omogućuje programerima da ograniče broj tokena posvećen unutarnjem rezonovanju prije nego što model dovrši odgovor.
Ovaj je mehanizam usmjeren na točnost uravnoteženja s kašnjenjem, posebno u aplikacijama poput korisničke podrške ili autonomnih agenata.
Mjerila govore obećavajuću priču
Rezultati evaluacije ističu konkurentnu točnost prema drugim otvorenim malim modelima. Testiran u načinu “Rasuđivanje” koristeći Nemo-Skills Suite, Nemotron-Nano-9b-V2 doseže 72,1 posto na AIME25,, 97,8 posto na Math500, 64,0 posto na GPQAi 71,1 posto na LiveCodeBench.
Također se izvještavaju o rezultatima na uputama koja slijedi i referentnim vrijednostima dugog konteksta: 90,3 posto na Ifevalu, 78,9 posto na ravnanju 128K testai manji, ali mjerljivi dobici na BFCL V3 i HLE referentnoj vrijednosti.
Nano-9b-V2 na cijeloj ploči pokazuje veću točnost od qwen3-8b, uobičajena točka usporedbe.
NVIDIA ilustrira ove rezultate krivuljama točnosti i proračuna koje pokazuju kako se povećava performanse kako se povećava token dodatak za rasuđivanje. Tvrtka sugerira da pažljiva kontrola proračuna može pomoći programerima da optimiziraju i kvalitetu i kašnjenje u slučajevima upotrebe proizvodnje.
Obučeni na sintetičkim skupovima podataka
I nano model i obitelj Nemotron-H oslanjaju se na mješavinu kuriranih podataka o mrežnim i sintetičkim treninzima.
Corpora uključuje opći tekst, kodeks, matematiku, znanost, pravne i financijske dokumente, kao i skupove podataka koji usklađuju pitanje.
NVIDIA potvrđuje uporabu tragova sintetičkih rasuđivanja koje generiraju drugi veliki modeli za jačanje performansi na složenim mjerilima.
Licenciranje i komercijalna upotreba
Model Nano-9b-V2 objavljuje se pod NVIDIA Ugovor o licenci Open Model Modelposljednje ažurirano u lipnju 2025. godine.
Licenca je osmišljena tako da bude dopuštena i prihvatljiva za poduzeća. Nvidia izričito kaže da su modeli komercijalno koristan izvan okvirai to Programeri su slobodni za stvaranje i distribuciju derivatnih modela.
Važno je da NVIDIA ne zahtijeva vlasništvo nad bilo kojim rezultatima generiranim modelom, ostavljajući odgovornost i prava kod programera ili organizacije koji ga koriste.
Za razvojnog programera, to znači da se model može odmah staviti u proizvodnju bez pregovaranja o zasebnoj komercijalnoj licenci ili plaćanja naknada vezanih za pragove upotrebe, razine prihoda ili broja korisnika. Ne postoje klauzule koje zahtijevaju plaćenu licencu nakon što tvrtka dosegne određenu razmjeru, za razliku od nekih složenih otvorenih licenci koje koriste drugi pružatelji usluga.
U skladu s tim, sporazum uključuje nekoliko uvjeta da poduzeća moraju promatrati:
- Zaštitnici: Korisnici ne mogu zaobići ili onemogućiti ugrađene sigurnosne mehanizme (koji se nazivaju “čuvari”) bez primjene usporedivih zamjena koje odgovaraju njihovoj implementaciji.
- Preraspodjela: Svaka preraspodjela modela ili derivata mora uključivati tekst i atribuciju licence NVIDIA Open Model („Licencirala od strane NVIDIA Corporation prema licenci NVIDIA Open Model“).
- Poštivanje: Korisnici moraju biti u skladu s trgovinskim propisima i ograničenjima (npr. Američki zakoni o izvozu).
- Pouzdani AI izrazi: Upotreba se mora uskladiti s Nvidia pouzdanim AI smjernicama koje pokrivaju odgovorno implementaciju i etička razmatranja.
- Parnična klauzula: Ako korisnik pokrene autorska prava ili patentni parnični postupak protiv drugog entiteta koji navodi kršenje modela, licenca se automatski ukida.
Ovi se uvjeti usredotočuju na pravnu i odgovornu upotrebu, a ne na komercijalnu ljestvicu. Poduzeća ne trebaju tražiti dodatno dopuštenje ili plaćati autorske honorara Nvidia jednostavno za izgradnju proizvoda, unovčavanje ili skaliranje svoje korisničke baze. Umjesto toga, moraju osigurati da prakse implementacije poštuju obveze sigurnosti, atribucije i usklađenosti.
Pozicioniranje na tržištu
S Nemotron-Nano-9B-V2, NVIDIA cilja na programere kojima je potrebna ravnoteža sposobnosti rasuđivanja i učinkovitosti implementacije na manjim mjerilima.
Značajke proračuna za vrijeme proračuna za vrijeme i rezonovanje namijenjeni su građevinarima sustava veću fleksibilnost u upravljanju točnošću u odnosu na brzinu odgovora.
Njihovo izdanje na zagrljaju lica i katalogu Nvidijinog modela ukazuje na to da jesu značilo je široko dostupno eksperimentiranju i integraciji.
NVIDIA-ino oslobađanje Nemotron-Nano-9b-V2 pokazuje kontinuirano usredotočenje na učinkovitost i kontrolirajuće obrazloženje u jezičnim modelima.
Kombiniranjem hibridnih arhitektura s novim tehnikama kompresije i treningatvrtka nudi programere alate koji nastoje održati točnost uz smanjenje troškova i kašnjenja.
Web izvor
Povezani sadržaji
- Unutar nuklearnih bunkera, rudnika i planina koji se preuređuju kao podatkovni centri
5 Savjeta za upravljanje Linux korisničkim računima
Optimizirajte svoj LinkedIn profil
IBM Granit 3.2 dodaje poboljšano obrazloženje svojoj AI miksu
Alati za kreiranje infografike
Cijela je knjiga napisana u DNK—i možete je kupiti za 60 dolara
