Kraj AI skaliranja možda nije blizu: Evo što slijedi

Dok AI sustavi postižu nadljudske performanse u sve složenijim zadacima, industrija se bori s pitanjem jesu li veći modeli uopće mogući — ili inovacija mora krenuti drugim putem.

Opći pristup razvoju velikog jezičnog modela (LLM) bio je da je veće to bolje i da se performanse skaliraju s više podataka i više računalne snage. Međutim, nedavne medijske rasprave usredotočile su se na to kako se LLM približavaju svojim granicama. “Udara li umjetna inteligencija u zid?” The Verge upitan, dok Reuters prijavio da “OpenAI i drugi traže novi put do pametnije umjetne inteligencije jer trenutne metode nailaze na ograničenja.”

Zabrinutost je da se skaliranje, koje je godinama pokretalo napredak, možda neće proširiti na sljedeću generaciju modela. Izvještaji sugeriraju da bi razvoj graničnih modela kao što je GPT-5, koji pomiču trenutna ograničenja AI-a, mogao biti suočen s izazovima zbog smanjenih poboljšanja performansi tijekom prethodne obuke. Informacije izvijestio o ovim izazovima na OpenAI i Bloomberg pokriveno slične vijesti kod Googlea i Anthropica.

Ovo pitanje dovelo je do zabrinutosti da bi ovi sustavi mogli biti podložni zakonu opadajućih povrata — gdje svaka dodana jedinica inputa donosi sve manje dobitke. Kako LLM-i rastu, troškovi dobivanja visokokvalitetnih podataka o obuci i skaliranja infrastrukture rastu eksponencijalno, smanjujući povrate poboljšanja performansi u novim modelima. Ovaj izazov otežava ograničena dostupnost visokokvalitetnih novih podataka, budući da je velik dio dostupnih informacija već ugrađen u postojeće skupove podataka za obuku.

To ne znači kraj povećanja performansi za AI. To jednostavno znači da je za održavanje napretka potreban daljnji inženjering kroz inovacije u arhitekturi modela, tehnikama optimizacije i korištenju podataka.

Učenje iz Mooreova zakona

Sličan obrazac pada povrata pojavio se u industriji poluvodiča. Desetljećima je industrija imala koristi od Mooreovog zakona, koji je predviđao da će se broj tranzistora udvostručiti svakih 18 do 24 mjeseca, pokrećući dramatična poboljšanja performansi kroz manje i učinkovitije dizajne. I ovo je na kraju postiglo sve manje povrate, počevši negdje između 2005. i 2007. godine zbog Dennardovo skaliranje — načelo da smanjivanje tranzistora također smanjuje potrošnju energije— dosegnuvši svoje granice što je potaknulo predviđanja smrti Mooreovog zakona.

Imao sam izbliza pogled na ovaj problem dok sam radio s AMD-om od 2012. do 2022. godine. Ovaj problem nije značio da su poluvodiči – a time i računalni procesori – prestali postizati poboljšanja performansi iz jedne generacije u drugu. To je značilo da su poboljšanja više proizašla iz dizajna čipleta, memorije velike propusnosti, optičkih prekidača, više predmemorije i ubrzane računalne arhitekture, a ne smanjenja tranzistora.

Novi putevi za napredak

Slični se fenomeni već opažaju s trenutnim LLM-ovima. Multimodalni AI modeli kao što su GPT-4o, Claude 3.5 i Gemini 1.5 dokazali su moć integriranja razumijevanja teksta i slike, omogućujući napredak u složenim zadacima kao što su videoanaliza i kontekstualno označavanje slika. Više ugađanja algoritama za obuku i zaključivanje dovest će do daljnjih poboljšanja performansi. Agentske tehnologije, koje LLM-u omogućuju autonomno obavljanje zadataka i besprijekornu koordinaciju s drugim sustavima, uskoro će značajno proširiti svoju praktičnu primjenu.

Buduća otkrića modela mogla bi proizaći iz jednog ili više hibridnih dizajna AI arhitekture koji kombiniraju simboličko zaključivanje s neuronskim mrežama. Već model zaključivanja o1 iz OpenAI-ja pokazuje potencijal za integraciju modela i proširenje performansi. Iako tek izlazi iz svoje rane faze razvoja, kvantno računalstvo obećava ubrzanje obuke umjetne inteligencije i zaključivanje rješavanjem trenutnih računalnih uskih grla.

Percipirani zid skaliranja vjerojatno neće prekinuti buduće dobitke, budući da je istraživačka zajednica AI-a dosljedno dokazivala svoju genijalnost u svladavanju izazova i otključavanju novih sposobnosti i poboljšanju performansi.

U stvari, ne slažu se svi da uopće postoji zid za skaliranje. Generalni direktor OpenAI-ja Sam Altman bio je jezgrovit u svojim stavovima: “Nema zida.”

Govoreći na “Dnevnik direktora” podcasta, bivši izvršni direktor Googlea i koautor Geneza Eric Schmidt se u biti složio s Altmanom, rekavši da ne vjeruje da postoji pregradni zid — barem ga neće biti u sljedećih pet godina. “Za pet godina imat ćete još dva ili tri okretaja poluge ovih LLM-ova. Svaka od ovih ručica izgleda kao da ima faktor dva, faktor tri, faktor četiri mogućnosti, pa recimo samo da će okretanjem ručice svi ti sustavi postati 50 puta ili 100 puta snažniji,” rekao je.

Vodeći inovatori umjetne inteligencije i dalje su optimistični u pogledu tempa napretka, kao i potencijala za nove metodologije. Ovaj optimizam je vidljiv u a nedavni razgovor na “Lennyjev podcast” s OpenAI-jevim CPO Kevinom Weilom i Anthropic CPO Mikeom Kriegerom.

U ovoj raspravi, Krieger je opisao da ono na čemu OpenAI i Anthropic danas rade “čini se kao magija,” ali je priznao da ćemo se za samo 12 mjeseci “osvrnuti unatrag i reći, možete li vjerovati da smo iskoristili to smeće? … Eto kako brzo [AI development] kreće se.”

Istina je — čini se kao magija, kao što sam nedavno iskusio koristeći OpenAI-jev Advanced Voice Mode. Razgovor s ‘Juniperom’ djelovao je posve prirodno i besprijekorno, prikazujući kako se AI razvija kako bi razumio i odgovorio s emocijama i nijansama u razgovorima u stvarnom vremenu.

Krieger također govori o nedavnom modelu o1, nazivajući ga “novim načinom skaliranja inteligencije, a osjećamo se kao da smo tek na samom početku.” Dodao je: “Modeli će postajati sve pametniji.”

Ovi očekivani pomaci sugeriraju da, iako se tradicionalni pristupi skaliranju mogu ili ne moraju suočiti sa smanjenim prinosima u kratkoročnom razdoblju, polje umjetne inteligencije spremno je za nastavak prodora kroz nove metodologije i kreativni inženjering.

Je li skaliranje uopće bitno?

Dok izazovi skaliranja dominiraju većim dijelom trenutnog diskursa oko LLM-a, nedavne studije sugeriraju da su sadašnji modeli već sposobni za izvanredne rezultate, postavljajući provokativno pitanje je li više skaliranja uopće važno.

A nedavna studija predviđa da bi ChatGPT pomogao liječnicima u postavljanju dijagnoze kada im se prezentiraju komplicirani slučajevi pacijenata. Provedeno s ranom verzijom GPT-4, studija je uspoređivala dijagnostičke mogućnosti ChatGPT-a s onima liječnika sa i bez pomoći umjetne inteligencije. Iznenađujući rezultat otkrio je da je sam ChatGPT znatno nadmašio obje skupine, uključujući liječnike koji koriste AI pomoć. Postoji nekoliko razloga za to, od nedostatka razumijevanja liječnika o tome kako najbolje koristiti bot do njihovog uvjerenja da su njihovo znanje, iskustvo i intuicija inherentno superiorni.

Ovo nije prva studija koja pokazuje da botovi postižu superiorne rezultate u usporedbi s profesionalcima. VentureBeat je izvijestio o studiji ranije ove godine koja je pokazala da LLM-i mogu provoditi analizu financijskih izvješća s točnošću koja se može mjeriti – pa čak i nadmašiti – od profesionalnih analitičara. Također korištenjem GPT-4, drugi cilj bio je predvidjeti budući rast zarade. GPT-4 postigao je 60% točnosti u predviđanju smjera buduće zarade, znatno više od raspona od 53 do 57% u prognozama ljudskih analitičara.

Značajno je da se oba ova primjera temelje na modelima koji su već zastarjeli. Ovi rezultati naglašavaju da čak i bez novih otkrića u skaliranju, postojeći LLM-ovi već mogu nadmašiti stručnjake u složenim zadacima, izazivajući pretpostavke o nužnosti daljnjeg skaliranja za postizanje utjecajnih rezultata.

Skaliranje, vještina ili oboje

Ovi primjeri pokazuju da su trenutni LLM-ovi već vrlo sposobni, ali samo skaliranje možda nije jedini put naprijed za buduće inovacije. Ali uz više mogućnosti skaliranja i druge tehnike u nastajanju koje obećavaju poboljšanje performansi, Schmidtov optimizam odražava brz tempo napretka umjetne inteligencije, sugerirajući da bi za samo pet godina modeli mogli evoluirati u polimate, koji besprijekorno odgovaraju na složena pitanja u više polja.

Bilo kroz skaliranje, vještine ili potpuno nove metodologije, sljedeća granica AI obećava transformaciju ne samo same tehnologije, već i njezine uloge u našim životima. Predstojeći izazov je osigurati da napredak ostane odgovoran, pravedan i utjecajan za sve.

Gary Grossman je EVP tehnološke prakse u Edelman i globalno vodstvo Edelman AI Centra izvrsnosti.