Cohereov najmanji, najbrži model R-serije briljira u RAG-u, obrazlažući na 23 jezika

Dokazujući svoju namjeru da podrži širok raspon slučajeva korištenja u poduzećima — uključujući one koji ne zahtijevaju skupe modele velikih jezika (LLM) koji zahtijevaju velike resurse — pokretanje AI-ja Cohere izbacio je Command R7B, najmanji i najbrži u svojoj seriji R modela.

Command R7B izgrađen je za podršku brze izrade prototipova i ponavljanja i koristi generiranje proširenog dohvaćanja (RAG) za poboljšanje svoje točnosti. Model ima duljinu konteksta od 128K i podržava 23 jezika. Nadmašuje druge u svojoj klasi otvorenih modela – Googleovu Gemmu, Metinu Llamu, Mistralov Ministral – u zadacima uključujući matematiku i kodiranje, kaže Cohere.

“Model je dizajniran za programere i tvrtke koje trebaju optimizirati brzinu, isplativost i računalne resurse svojih slučajeva upotrebe”, suosnivač i izvršni direktor Cohere Aidan Gomez piše u objavi na blogu najavljujući novi model.

Nadmašiti konkurente u matematici, kodiranju, RAG-u

Cohere je strateški usmjeren na poduzeća i njihove jedinstvene slučajeve upotrebe. Predstavljena tvrtka Command-R u ožujku i moćni Command R+ u travnju, te je napravio nadogradnje tijekom cijele godine za podršku brzini i učinkovitosti. Zadirkivali su Command R7B kao “konačni” model u svojoj R seriji i kažu da će objaviti težine modela istraživačkoj zajednici AI.

Cohere je primijetio da je kritično područje fokusa pri razvoju Command R7B bilo poboljšanje izvedbe u matematici, razmišljanju, kodu i prijevodu. Čini se da je tvrtka uspjela u tim područjima, s novim manjim modelom na vrhu HuggingFace Open LLM Leaderboard protiv otvorenih modela slične veličine uključujući Gemma 2 9B, Ministral 8B i Llama 3.1 8B.

Nadalje, najmanji model u seriji R nadmašuje konkurentske modele u područjima uključujući AI agente, korištenje alata i RAG, što pomaže u poboljšanju točnosti uzemljenjem izlaza modela u vanjskim podacima. Cohere kaže da se Command R7B ističe u razgovornim zadacima, uključujući pomoć u tehničkom radnom mjestu i upravljanju rizicima u poduzeću (ERM); tehničke činjenice; medijsko radno mjesto i podrška korisničkoj službi; HR česta pitanja; i sažimanje. Cohere također napominje da je model “iznimno dobar” u dohvaćanju i manipuliranju numeričkim informacijama u financijskim postavkama.

Sve u svemu, Command R7B zauzeo je prvo mjesto u prosjeku u važnim mjerilima uključujući evaluaciju praćenja uputa (IFeval); velika klupa tvrda (BBH); na diplomskoj razini Google-proof Q&A (GPQA); meko zaključivanje u više koraka (MuSR); i masovno razumijevanje jezika s više zadataka (MMLU).

Uklanjanje nepotrebnih funkcija poziva

Command R7B može koristiti alate uključujući tražilice, API-je i vektorske baze podataka za proširenje svoje funkcionalnosti. Cohere izvješćuje da korištenje alata modela ima snažne rezultate u odnosu na konkurente na Berkeley Function-Calling Leaderboard, koji ocjenjuje točnost modela u pozivanju funkcija (povezivanje s vanjskim podacima i sustavima).

Gomez ističe da to dokazuje njegovu učinkovitost u “stvarnom svijetu, raznolikim i dinamičnim okruženjima” i uklanja potrebu za nepotrebnim funkcijama poziva. To ga može učiniti dobrim izborom za izgradnju “brzih i sposobnih” AI agenata. Na primjer, ističe Cohere, kada funkcionira kao internetski prošireni agent za pretraživanje, Command R7B može složena pitanja rastaviti na podciljeve, dok također dobro funkcionira s naprednim razmišljanjem i pronalaženjem informacija.

Budući da je malen, Command R7B može se implementirati na nižim i potrošačkim CPU-ima, GPU-ovima i MacBookovima, omogućujući zaključivanje na uređaju. Model je sada dostupan na platformi Cohere i HuggingFace. Cijena je 0,0375 USD za 1 milijun ulaznih tokena i 0,15 USD za 1 milijun izlaznih tokena.

“To je idealan izbor za poduzeća koja traže troškovno učinkovit model utemeljen na njihovim internim dokumentima i podacima”, piše Gomez.