Liquid Edge AI Platform Leap omogućuje Devs da izgrade lokalne AI mobilne aplikacije

Izgrađen za mobilne vragove bez prethodnog ML iskustva

LEAP je dizajniran za programere koji se žele graditi s AI, ali možda nemaju duboku stručnost u strojnom učenju.

Prema tekućem AI, SDK se može dodati u iOS ili Android projekt sa samo nekoliko redaka koda, a pozivanje na lokalni model namijenjeno je osjećaju se poznatim kao što je interakcija s tradicionalnim API -om u oblaku.

„Naša istraživanja pokazuju da programeri nadilaze AI samo za Cloud i traže pouzdane partnere koji će im pomoći da izgrade na uređaju“, rekao je Ramin Hasani, suosnivač i izvršni direktor Liquid AI, u postu na objavi najave vijesti danas o tome Web stranica s tekućinom. “LEAP je naš odgovor-fleksibilna platforma za implementaciju krajnjeg do kraja izgrađena od temelja kako bi moćna, učinkovita i privatna ruba AI uistinu bila dostupna.”

Jednom integrirani, programeri mogu odabrati model iz ugrađene biblioteke LEAP modela, koja uključuje kompaktne modele čak 300MB-dovoljno lagan za moderne telefone sa samo 4 GB RAM-a (!!) i gore.

SDK upravlja lokalnim zaključcima, optimizacijom memorije i kompatibilnošću uređaja, pojednostavljujući tipični postupak implementacije ruba.

LEAP je os- i model-agnostik po dizajnu. Na lansiranju podržava i iOS i Android, a nudi kompatibilnost s Liquid AI-jevim vlastitim modelima tekućih temelja (LFMS), kao i mnogim popularnim malim modelima otvorenog koda.

Cilj: Ujedinjeni ekosustav za Edge AI

Osim izvršenja modela, skok se pozicionira kao platforma sve u jednom za otkrivanje, prilagođavanje, testiranje i implementaciju SLMS-a za rubnu upotrebu.

Programeri mogu pregledavati kurirani katalog modela s različitim opcijama kvantizacije i kontrolnih točaka, omogućujući im da prilagode performanse i otisak memorije ograničenjima ciljnog uređaja.

Tekući AI naglašava da su veliki modeli obično generalisti, dok mali modeli često djeluju najbolje kada su optimizirani za uski skup zadataka. LEAP-ov objedinjeni sustav strukturiran je oko tog principa, nudeći alate za brzu iteraciju i implementaciju u stvarnom mobilnom okruženju.

SDK također dolazi s zajednicom programera koja je ugostila Discord, gdje Liquid AI nudi radno vrijeme, podršku, događaje i natjecanja za poticanje eksperimentiranja i povratnih informacija.

Apollo: Kao Leglica Za lokalne AI modele

Za nadopunu skoka, tekući AI je također oslobođen Apolonbesplatna iOS aplikacija koja programerima i korisnicima omogućuje interakciju s LEAP-kompatibilnim modelima u lokalnoj, izvan mreže.

Izvorno kaoPokretanje pokretanja mobilne aplikacije koje je omogućilo korisnicima da privatno razgovaraju s LLMS -om na uređajukoja je tekućina stečena početkom ove godine, Apollo je obnovljen kako bi podržao cijelu biblioteku LEAP modela.

Apollo je dizajniran za eksperimentiranje s niskim trećima-programeri mogu „provjeriti“ ton, latencije ili izlazno ponašanje modela pravo na njihovim telefonima prije nego što ga integriraju u proizvodnu aplikaciju. Aplikacija pokreće u potpunosti izvan mreže, čuvajući privatnost korisnika i smanjujući oslanjanje na Cloud Compute.

Bilo da se koristi kao lagan DEV alat ili privatni AI pomoćnik, Apollo odražava širi pritisak tekućeg AI -ja da bi decentralizirao pristup i izvršenje AI.

Izgrađena na poleđini obitelji LFM2 Model objavljena prošlog tjedna

Skok SDK izdanje se gradi na Najava tekućine AI 10. srpnja Lfm2obitelj druge generacije Model Model Obitelj dizajnirana posebno za opterećenje na uređaju.

LFM2 modeli dolaze u veličini parametara 350m, 700m i 1,2b, a referentno je konkurentno s većim modelima brzine i točnosti u nekoliko zadataka evaluacije.

Ovi modeli tvore kralježnicu biblioteke LEAP modela i optimizirani su za brzo zaključivanje o CPU -u, GPU -u i NPU -u.

Besplatno i spremno za vratove za početak izgradnje

Leap se trenutno može koristiti pod licencom za razvojne programere koja uključuje osnovnu knjižnicu SDK i modela.

Liquid AI napominje da će značajke Premium Enterprise biti dostupne pod zasebnom komercijalnom licencom u budućnosti, ali da već uzima upiti od kupaca poduzeća Kroz obrazac za kontakt na web stranici.

LFM2 modeli također su besplatni za akademsku upotrebu i komercijalnu upotrebu tvrtki s manje od 10 milijuna dolara prihoda, a veće organizacije moraju kontaktirati tvrtku radi licenciranja.

Programeri mogu započeti posjetom SLEP SDK web stranicapreuzimanje Apolona iz App Store -a ili pridruživanje zajednici Liquid AI programera na Discord -u.