MiniMax otkriva LLM otvorenog koda s kontekstom nevjerojatnih 4 milijuna tokena

MiniMax je danas možda najpoznatiji ovdje u SAD-u kao singapurska tvrtka koja stoji iza Hailuoa, realističnog generativnog AI video modela visoke rezolucije koji se natječe s Runwayom, OpenAI-jevom Sorom i Luma AI Dream Machineom.

No tvrtka ima mnogo više trikova u rukavu: danas je, na primjer, najavila izdavanje i otvoren izvor Serija MiniMax-01nova obitelj modela izgrađena za rukovanje ultradugim kontekstima i poboljšanje razvoja AI agenata.

Serija uključuje MiniMax-Text-01, temeljni model velikog jezika (LLM) i MiniMax-VL-01, vizualni multimodalni model.

Ogroman kontekstni prozor

MiniMax-Text-o1 je od posebne važnosti jer omogućuje do 4 milijuna tokena u svom prozoru konteksta — što je ekvivalentno knjiga u vrijednosti male knjižnice. Kontekstni prozor predstavlja koliko informacija LLM može obraditi jedna ulazno/izlazna razmjenas riječima i konceptima predstavljenim kao numerički “tokeni”, interna matematička apstrakcija LLM-a podataka na kojima se obučavao.

I dok je Google prethodno vodio skupinu sa svojim modelom Gemini 1.5 Pro i Prozor konteksta od 2 milijuna tokenaMiniMax je to nevjerojatno udvostručio.

Kao MiniMax objavljeno danas na svom službenom X računu: “MiniMax-01 učinkovito obrađuje do 4 milijuna tokena — 20 do 32 puta više od kapaciteta drugih vodećih modela. Vjerujemo da je MiniMax-01 spreman podržati očekivani porast aplikacija povezanih s agentima u nadolazećoj godini, jer agenti sve više zahtijevaju proširene mogućnosti rukovanja kontekstom i održivu memoriju.”

Modeli su sada dostupni za preuzimanje na Lice koje grli i Github pod a prilagođena MiniMax licencakoje korisnici mogu izravno isprobati Hailuo AI Chat (konkurent ChatGPT/Gemini/Claude) i putem MiniMaxa sučelje za programiranje aplikacija (API)gdje programeri trećih strana mogu s njima povezati svoje jedinstvene aplikacije.

MiniMax nudi API-je za tekstualnu i multimodalnu obradu po konkurentnim cijenama:

• 0,2 USD za 1 milijun ulaznih tokena
• 1,1 USD za 1 milijun izlaznih tokena

Za usporedbu, OpenAI-jev GPT-4o košta 2,50 USD za 1 milijun ulaznih tokena putem svog API-ja, nevjerojatnih 12,5X skuplji.

MiniMax je također integrirao okvir mješavine stručnjaka (MoE) s 32 stručnjaka za optimizaciju skalabilnosti. Ovaj dizajn uravnotežuje računalnu i memorijsku učinkovitost dok zadržava konkurentne performanse na ključnim mjerilima.

Upečatljivo novo tlo uz Lightning Attention Architecture

U srcu MiniMax-01 je Lightning Attention mehanizam, inovativna alternativa transformatorskoj arhitekturi.

Ovaj dizajn značajno smanjuje složenost računanja. Modeli se sastoje od 456 milijardi parametara, s 45,9 milijardi aktiviranih po zaključku.

Za razliku od ranijih arhitektura, Lightning Attention koristi kombinaciju linearnih i tradicionalnih SoftMax slojeva, postižući gotovo linearnu složenost za duge ulaze. SoftMaxza one poput mene koji su novi u konceptu, su transformacija ulaznih brojeva u vjerojatnosti koje zbrajaju 1, tako da LLM može približno odrediti koje je značenje unosa najvjerojatnije.

MiniMax je ponovno izgradio svoje okvire za obuku i zaključivanje kako bi podržao arhitekturu Lightning Attention. Ključna poboljšanja uključuju:

• MOE optimizacija komunikacije svih prema svima: Smanjuje opterećenje komunikacije između GPU-a.
• Varlen prsten pozornost: Minimizira gubitak računanja za dugotrajnu obradu.
• Učinkovite implementacije kernela: Prilagođene CUDA kernele poboljšavaju performanse Lightning Attention.

Ova poboljšanja čine modele MiniMax-01 dostupnima za stvarne primjene, uz zadržavanje pristupačnosti.

Izvedba i mjerila

Na glavnim tekstualnim i multimodalnim referentnim vrijednostima, MiniMax-01 konkurira vrhunskim modelima kao što su GPT-4 i Claude-3.5, s posebno dobrim rezultatima na procjenama dugog konteksta. Treba napomenuti da je MiniMax-Text-01 postigao 100% točnost na Zadatak “Igla u plastu sijena”. s kontekstom od 4 milijuna tokena.

Modeli također pokazuju minimalnu degradaciju performansi kako se ulazna duljina povećava.

MiniMax planira redovita ažuriranja kako bi proširio mogućnosti modela, uključujući kod i multimodalna poboljšanja.

Tvrtka gleda na open-source kao na korak prema izgradnji temeljnih AI sposobnosti za evoluirajući AI agent krajolik.

Budući da se predviđa da će 2025. biti godina transformacije za agente umjetne inteligencije, potreba za održivom memorijom i učinkovitom komunikacijom među agentima raste. MiniMaxove inovacije osmišljene su da odgovore na te izazove.

Otvoreni za suradnju

MiniMax poziva programere i istraživače da istraže mogućnosti MiniMax-01. Osim otvorenog izvora, njegov tim pozdravlja tehničke prijedloge i upite o suradnji na model@minimaxi.com.

Sa svojom predanošću isplativoj i skalabilnoj umjetnoj inteligenciji, MiniMax se pozicionira kao ključni igrač u oblikovanju ere agenta umjetne inteligencije. Serija MiniMax-01 nudi uzbudljivu priliku programerima da pomaknu granice onoga što AI može postići u dugom kontekstu.