Kako pokrenuti lokalni LLM kao AI sa sjedištem u pregledniku s ovim besplatnim proširenjem

Ideja ispitivanja daljinskog LLM -a čini mi kralježnicu – i ne na dobar način. Kad moram napraviti mjesto istraživanja putem AI, odlučujem se za lokalni LLM, poput Ollama.

Ako još niste instalirali Ollama, o njemu možete pročitati moj vodič o tome kako instalirati LLM na macOS -u (i zašto biste trebali). Također možete instalirati Ollama na Linux i Windows, a s obzirom na to da proširenje Firefox djeluje na sve tri platforme, možete biti sigurni da će bez obzira na OS za radnu površinu koju koristite.

Također: Mojih 5 omiljenih web preglednika – i ono što je svaki idealno za

Korištenje Ollama iz prozora Terminal je zapravo prilično jednostavno, ali ne daje vam takav očigledan pristup drugim značajkama (poput odabira LLM/brzog odabira, prijenosa slike, internet pretraživanja Omogući/onemogući i postavke).

Besplatno proširenje ukazat ću na Works na Firefoxu, Zen pregledniku (jedan od mojih favorita) i drugima.

Idemo do tog proširenja.

Kako instalirati proširenje pomoći na stranici u Firefoxu

Što će vam trebati: Da biste napravili ovaj posao, trebat će vam Ollama instalirana i pokrenuta, kao i preglednik Firefoxa. To je to. Napravimo malo magije.

Kako koristiti pomoć na stranici

Prije nego što zapravo koristite pomoć na stranici, morate osigurati da Ollama radi. Ako ste ga već instalirali, možete pokrenuti lokalni LLM s naredbom poput ove:

Ollama Run Llama3.2

Ako vidite upit >>>, LLM se pokreće i spreman je prihvatiti upite.

Također: Ova terminalna aplikacija koristi AI kako bi vam pomogla razumjeti naredbeni redak

1. Pričvrstite produženje

Prvo što bih učinio je pričvrstiti proširenje stranice na alatnoj traci Firefox. Da biste to učinili, kliknite ikonu komada zagonetke, a zatim kliknite ikonu zupčanika povezanu s Assist Page. Na padajućem izborniku kliknite “PIN do alatne trake.” Sada biste trebali vidjeti ikonu za pomoć na stranici na alatnoj traci Firefox (koja izgleda poput malenog misaonog balona).

2. Otvorite proširenje

Kliknite ikonu Assist Page As Assing, a nova kartica otvorit će se s Ollama korisničkom sučeljem.

3. Odaberite svoj model

Prije nego što pokrenete svoj prvi upit, morate odabrati model. Kliknite padajući pad “Odaberite model” i odaberite model koji ste instalirali (poput Llama3.2: najnovije).

4. Upišite svoj upit

Sada možete upisati svoj upit u donjem odjeljku s oznakom “Upišite poruku”. Pritisnite Enter na tipkovnici ili kliknite Pošaljite, a Ollama će ići na posao.

5. Dodavanje novog modela

Također možete dodati nove modele uz pomoć na stranici. Da biste to učinili, kliknite ikonu zupčanika u gornjem desnom desnom dijelu stranice za pomoć. Kliknite Upravljanje modelima na lijevoj bočnoj traci, a zatim kliknite Dodaj novi model. U skočnom prozoru upišite naziv modela koji želite dodati i kliknite Model Pull. Za potpuni popis modela dostupnih Ollami, potražite ova stranica.

A to je, moji prijatelji, kako možete lakše komunicirati s Ollamom, zahvaljujući jednostavnom proširenju Firefoxa.