Kako lako pokrenuti svoje omiljene lokalne AI modele na Linuxu s ovom priručnom aplikacijom

Već neko vrijeme koristim AI kao jedan od mojih alata za istraživanje. Iako postoji dosta opcija kojima se može pristupiti putem web preglednika (poput Opere Aria, prve AI usluge koju sam ikad koristio), preferiram alate za radnu površinu jer mogu instalirati i koristiti lokalne LLM -ove – tako da svi moji upiti ostaju privatni. Uz alat za stolnu površinu, lako se mogu prebaciti između lokalnih LLM -ova poput Llama, DeepSeek R1, Mistral Induct, ORCA, GPT4ALL FALCON i RASPOLOGA.

Do sada je moj zadani Linux AI GUI bio msty, ali našao sam novu aplikaciju koja je jednako dobra. Ta je aplikacija Gpt4alldostupno za Linux, MacOS i Windows.

Također: moje dvije omiljene AI aplikacije na Linuxu – i kako ih koristim za više

GPT4ALL se može koristiti za standardne upite, kao pomoćnik osobnog pisanja, za pisanje koda i još mnogo toga. Također se događa da ima fantastično korisničko sučelje koji je jednostavan za upotrebu i uklopit će se izravno s izgledom i osjećajem radne površine.

Jedan aspekt GPT4ALL -a koji cijenim je mogućnost odabira računalnog uređaja za generiranje teksta. Na primjer, moj System76 Thelio ima AMD Radeon RX 7600 GPU. GPT4All otkriva da GPU i omogućuje mi da ili koristim Vulkan: AMD Radeon RX 7600 (RADV Navi33) ili Vulkan: AMD Radeon RX 7600 (RADV Raphael_Mendocino).

Također mogu odabrati svoj zadani model, promijeniti način prijedloga (za generiranje pitanja o praćenju), konfigurirati broj CPU niti, omogućiti aplikaciju sistemske ladice i još mnogo toga. Mogu omogućiti lokalni API poslužitelj kako bi se GPT4all mogao pristupiti putem http: // localhost: 4891. Nedostatak korištenja u načinu poslužitelja je u tome što troši više resursa sustava.

Idemo instalirati GPT4ALL na Linuxu, tako da vam mogu pokazati što je što.

Instaliranje GPT4ALL na distribucije sa sjedištem u Ubuntu

Što će vam trebati: Trenutno su jedine podržane Linux distribucije one koje se temelje na Ubuntu, tako da će vam trebati pokretačka instanca distribucije sa sjedištem u Ubuntu. To ću pokazati na pop! _OS Linux.

chmod u+x gpt4all-installer-linux.run

./gpt4all-installer-linux.run

Imajte na umu da za instalaciju ne trebate koristiti sudo. Ako pokušate instalirati GPT4ALL sa sudo, to će pogriješiti. Kad se čarobnjak za instalaciju otvori, kliknite korake da biste dovršili instalaciju.

Također: kako donosim svoje datoteke lokalnim AI za bolje, relevantnije odgovore

Instalacija bi trebala biti dovršena bez problema.

Korištenje GPT4ALL

Kada prvi put otvorite GPT4ALL, morat ćete se prijaviti ili iz anonimne analitike upotrebe i anonimnog dijeljenja chatova. Preporučio bih vam da se isključite. Nakon što to učinite, naći ćete se na glavnom prozoru GPT4ALL, gdje ćete morati instalirati lokalni model.

Da biste instalirali svoj prvi model, kliknite modeli, a zatim kliknite Dodaj model. U rezultirajućem prozoru pomaknite se prema dolje i pronađite željeni model, kao što je Llama 3.2 3B. Kad ga pronađete, kliknite Preuzmi da biste započeli postupak. Zapamtite, ovi modeli mogu biti prilično veliki (najmanji je LLAMA 3,2 3B pouka u 1,79 GB).

Nakon što je model preuzet i instaliran, naći ćete ga u odjeljku Model.

Također: kako lokalno trčati DeepSeek AI kako biste zaštitili svoju privatnost – 2 jednostavna načina

Kliknite ikonu chata na lijevoj bočnoj traci. Ako ste instalirali samo jedan model, bit će naveden u gornjem središtu. Ako ste instalirali više modela, odaberite onaj koji želite koristiti s tog padajućeg pada.

Upišite svoj upit u polje “Pošaljite poruku” i pritisnite Enter na tipkovnici. GPT4All će biti zauzet radeći na odgovoru na vaš upit. Ako ste omogućili daljnje prijedloge, oni će biti navedeni ispod odgovora. Sviđaju mi ​​se prijedlozi za praćenje jer mi pomažu da zaronim u neke ozbiljno pronicljive (a ponekad i zabavne) rupe za zečeve. Na svom sustavu76 Thelio, jedva sam primijetio dodatni izračunati režijski troškovi koji zahtijevaju predloženi praćenje, tako da je vrijedno omogućiti.

A to je, moji prijatelji, sve što je GPT4ALL instaliran na Linuxu – i osnove za korištenje ovog korisnog alata.

Želite više priča o AI? Prijavite se za inovacijunaš tjedni bilten.