Google izdaje FunctionGemma: maleni rubni model koji može kontrolirati mobilne uređaje prirodnim jezikom

Dok Gemini 3 još uvijek stvara valove, Google ne odustaje od izdavanja novih modela.

Jučer, tvrtka je izdala FunctionGemmaspecijalizirani AI model s 270 milijuna parametara dizajniran za rješavanje jednog od najupornijih uskih grla u modernom razvoju aplikacija: pouzdanost na rubu.

Za razliku od chatbota opće namjene, FunctionGemma je osmišljena za jedan, kritičan uslužni program—prevođenje korisničkih naredbi prirodnog jezika u strukturirani kod koji aplikacije i uređaji mogu stvarno izvršiti, a sve to bez povezivanja s oblakom.

Ovo izdanje označava značajan strateški zaokret za Google DeepMind i Google AI Developers tim. Dok industrija nastavlja juriti za trilijun parametara u oblaku, FunctionGemma je oklada na "Mali jezični modeli" (SLM-ovi) pokrenuti lokalno na telefonima, preglednicima i IoT uređajima.

Za inženjere umjetne inteligencije i graditelje poduzeća, ovaj model nudi novu arhitektonsku primitivu: privatnost na prvom mjestu "ruter" koji može obraditi složenu logiku na uređaju sa zanemarivom latencijom.

FunctionGemma je odmah dostupna za preuzimanje na Lice koje grli i Kaggle. Također možete vidjeti model na djelu preuzimanjem aplikacije Google AI Edge Gallery u trgovini Google Play.

Skok u izvedbi

U svojoj srži, FunctionGemma se bavi "jaz u izvršenju" u generativnoj AI. Standardni veliki jezični modeli (LLM) izvrsni su u razgovoru, ali se često bore s pouzdanim pokretanjem softverskih radnji—posebno na uređajima s ograničenim resursima.

Prema Googleovim internim "Mobilne radnje" evaluacije, generički mali model se bori s pouzdanošću, postižući samo 58% osnovne točnosti za zadatke pozivanja funkcija. Međutim, nakon finog podešavanja za ovu specifičnu svrhu, točnost FunctionGemme skočila je na 85%, stvarajući specijalizirani model koji može pokazati istu stopu uspjeha kao i modeli mnogo puta veći od njega.

Omogućuje modelu rukovanje s više od jednostavnih prekidača za uključivanje/isključivanje; može analizirati složene argumente, kao što je identificiranje specifičnih mrežnih koordinata za pokretanje mehanike igre ili detaljne logike.

Izdanje uključuje više od samo težine modela. Google pruža punu "recept" za programere, uključujući:

• Model: transformator parametara od 270M treniran na 6 trilijuna tokena.

• Podaci o obuci: A "Mobilne radnje" skup podataka za pomoć programerima u obuci vlastitih agenata.

• Podrška za ekosustav: kompatibilnost s Hugging Face Transformers, Keras, Unsloth i NVIDIA NeMo bibliotekama.

Omar Sanseviero, voditelj iskustva programera u Hugging Faceu, istaknuo je svestranost izdanja na X-u (bivši Twitter), ističući da je model "dizajniran da bude specijaliziran za vaše vlastite zadatke" i može uletjeti "svoj telefon, preglednik ili druge uređaje."

Ovaj lokalni pristup nudi tri različite prednosti:

• Privatnost: Osobni podaci (kao što su unosi u kalendar ili kontakti) nikada ne napuštaju uređaj.

• Latencija: radnje se događaju trenutno bez čekanja povratnog putovanja poslužitelja. Mala veličina znači da je brzina kojom obrađuje unos značajna, osobito s pristupom akceleratorima kao što su GPU i NPU.

• Trošak: programeri ne plaćaju API naknade po tokenu za jednostavne interakcije.

Za AI graditelje: novi obrazac za proizvodne tijekove rada

Za poslovne programere i arhitekte sustava, FunctionGemma predlaže odmak od monolitnih AI sustava prema složenim sustavima. Umjesto usmjeravanja svakog manjeg korisničkog zahtjeva na masivni, skupi model oblaka kao što je GPT-4 ili Gemini 1.5 Pro, graditelji sada mogu implementirati FunctionGemmu kao inteligentnu "kontrolor prometa" na rubu.

Evo kako bi graditelji umjetne inteligencije trebali konceptualizirati korištenje FunctionGemme u proizvodnji:

1. The "Kontrolor prometa" Arhitektura: U proizvodnom okruženju FunctionGemma može djelovati kao prva linija obrane. Nalazi se na korisničkom uređaju i trenutno upravlja uobičajenim, visokofrekventnim naredbama (navigacija, kontrola medija, osnovni unos podataka). Ako zahtjev zahtijeva duboko razmišljanje ili poznavanje svijeta, model može identificirati tu potrebu i usmjeriti zahtjev na veći model oblaka. Ovaj hibridni pristup drastično smanjuje troškove i kašnjenje u oblaku. To omogućuje slučajeve upotrebe kao što je usmjeravanje upita odgovarajućem podagentu.

2. Deterministička pouzdanost nad kreativnim kaosom: Poduzeća rijetko trebaju svoje aplikacije za bankarstvo ili kalendar "kreativan." Trebaju ih da budu točni. Skok na 85% točnosti potvrđuje da specijalizacija pobjeđuje veličinu. Fino podešavanje ovog malog modela na podacima specifičnim za domenu (npr. vlasnički API-ji poduzeća) stvara vrlo pouzdan alat koji se ponaša predvidljivo – što je preduvjet za produkcijsku implementaciju.

3. Usklađenost s privatnošću na prvom mjestu: Za sektore kao što su zdravstvo, financije ili sigurne poslovne operacije, slanje podataka u oblak često predstavlja rizik usklađenosti. Budući da je FunctionGemma dovoljno učinkovita za rad na uređaju (kompatibilna s NVIDIA Jetson, mobilnim CPU-ima i Transformers.js temeljen na pregledniku), osjetljivi podaci poput PII-a ili vlasničkih naredbi nikada ne moraju napustiti lokalnu mrežu.

Licenciranje: otvoreno sa zaštitnim ogradama

FunctionGemma je objavljena prema Googleovim narudžbama Gemma Uvjeti korištenja. Za poslovne i komercijalne programere ovo je kritična razlika od standardnih licenci otvorenog koda kao što su MIT ili Apache 2.0.

Dok Google opisuje Gemmu kao "otvoreni model," nije striktno "Open Source" prema definiciji Open Source Initiative (OSI).

Licenca dopušta besplatnu komercijalnu upotrebu, redistribuciju i izmjene, ali uključuje određena ograničenja upotrebe. Programerima je zabranjeno koristiti model za ograničene aktivnosti (kao što je generiranje govora mržnje ili zlonamjernog softvera), a Google pridržava pravo ažuriranja ovih uvjeta.

Za veliku većinu startupa i programera, licenca je dovoljno popustljiva za izradu komercijalnih proizvoda. Međutim, timovi koji grade tehnologije dvostruke namjene ili oni koji zahtijevaju strogu slobodu kopiranja trebali bi pregledati posebne klauzule u vezi s "Štetna uporaba" i atribucija.

Web izvor