Novo ‘autoistraživanje’ otvorenog koda Andreja Karpathyja omogućuje vam pokretanje stotina AI eksperimenata po noći — s revolucionarnim implikacijama

Tijekom vikenda, Andrej Karpathy—utjecajni bivši Teslin AI voditelj i suosnivač i bivši član OpenAI-ja koji je skovao taj izraz "vibe kodiranje"— objavljeno na X o njegovom novom projektu otvorenog koda, autoristraživanje.

To nije bio gotov model ili masivni korporativni proizvod: bio je to, prema vlastitom priznanju, jednostavan tekst od 630 redaka dostupan na Githubu pod popustljivom licencom MIT-a pogodnom za poduzeća. Ali ambicija je bila ogromna: automatizirati znanstvenu metodu s AI agentima dok mi ljudi spavamo.

"Cilj je osmisliti vaše agente da najbrže napreduju u istraživanju na neodređeno vrijeme i bez vašeg vlastitog angažmana," izjavio je na X.

Sustav funkcionira kao autonomna optimizacijska petlja. AI agent dobiva skriptu za obuku i fiksni računalni proračun (obično 5 minuta na GPU-u).

Čita vlastiti izvorni kod, formira hipotezu za poboljšanje (kao što je promjena stope učenja ili dubine arhitekture), modificira kod, pokreće eksperiment i procjenjuje rezultate.

Ako je gubitak valjanosti—mjeren u bitovima po bajtu (val_bpb)—poboljšava, zadržava promjenu; ako ne, vraća se i pokušava ponovno. U jedan rad preko noći, Karpathyjev agent dovršio je 126 eksperimenatašto je smanjilo gubitak s 0,9979 na 0,9697.

Danas je Karpathy izvijestio da je nakon što je napustio agenta za podešavanje a "dubina=12" model za dva dana, to uspješno obradio približno 700 autonomnih promjena.

Agent je pronašao otprilike 20 aditivnih poboljšanja koja su se savršeno prenijela na veće modele. Slaganje ovih promjena dovelo je do pada "Vrijeme do GPT-2" metrika na ljestvici s 2,02 sata na 1,80 sati—povećanje učinkovitosti od 11% na projektu za koji je Karpathy vjerovao da je već dobro podešen.

"Vidjeti agenta kako radi cijeli tijek rada od početka do kraja i potpuno sam… je divlje," Karpathy je primijetio, napominjući da je agent uhvatio propuste u skaliranju pažnje i regulaciji koje je ručno propustio tijekom dva desetljeća rada.

Ovo je više od pukog hakiranja produktivnosti; to je temeljna promjena u načinu na koji se inteligencija usavršava. Automatiziranjem "znanstvena metoda" za kod, Karpathy je strojno učenje pretvorio u evolucijski proces koji radi brzinom silicija, a ne brzinom ljudske misli.

I više od ovoga, pokazao je široj zajednici umjetne inteligencije i strojnog učenja na X-u da se ova vrsta procesa može primijeniti daleko izvan računalne znanosti, na polja kao što su marketing, zdravlje i, zapravo, sve što zahtijeva istraživanje.

Autoristraživanje se širi nadaleko

Reakcija je bila brza i viralna, s Karpathyjevom objavom koja je prikupila više od 8,6 milijuna pregleda u dva dana koja su prošla dok su se graditelji i istraživači borili za skaliranje "Karpatska petlja".

Varun Mathur, izvršni direktor platforme za prikupljanje alata umjetne inteligencije Hyperspace AI, uzeo je petlju s jednim agentom i distribuirao je preko peer-to-peer mreže. Svaki čvor koji pokreće Hyperspace agent postao je autonomni istraživač.

U noći s 8. na 9. ožujka 35 autonomnih agenata na mreži Hyperspace provelo je 333 eksperimenta potpuno bez nadzora. Rezultati su bili majstorski tečaj iz hitne strategije:

• Raznovrsnost hardvera kao značajka: Mathur je primijetio da dok su se koristili H100 GPU "gruba sila" kako bi pronašli agresivne stope učenja, agenti koji koriste samo CPU na prijenosnim računalima bili su prisiljeni biti pametni. ove "autsajder" agenti su se usredotočili na strategije inicijalizacije (kao što su Kaiming i Xavier init) i izbore normalizacije jer se nisu mogli osloniti na sirovu propusnost.

• Otkriće temeljeno na tračevima: Koristeći GossipSub protokol, agenti su dijelili svoje dobitke u stvarnom vremenu. Kada je jedan agent otkrio da je inicijalizacija Kaiminga smanjila gubitak za 21%, ideja se proširila mrežom poput digitalnog virusa. U roku od nekoliko sati, 23 druga agenta uključila su otkriće u vlastite hipoteze.

• Kompresija povijesti: U samo 17 sati, ti su agenti neovisno o sebi ponovno otkrili prekretnice ML-a—kao što su RMSNorm i vezana ugrađivanja—za čije je formaliziranje ljudskim istraživačima u laboratorijima kao što su Google Brain i OpenAI trebalo gotovo osam godina.

Izvedite 36 500 marketinških eksperimenata svake godine umjesto 30

Dok su se čistunci ML-a usredotočili na krivulje gubitaka, poslovni svijet vidio je drugačiju vrstu revolucije. Eric Siu, osnivač oglasne agencije Single Grainprimijenio autorsko istraživanje na "Petlja eksperimenta" marketinga.

"Većina marketinških timova provodi oko 30 eksperimenata godišnje," Siu je napisao na X. "Sljedeća generacija imat će 36.500+. Lako." Nastavio je:

"Izvodit će eksperimente dok spavaju. Trenutačni marketinški timovi izvode 20-30 eksperimenata godišnje. Možda 52 ako su ‘dobri’. Nova odredišna stranica. Novi oglasni oglas. Možda predmetni test. To se smatra "marketing vođen podacima."
Ali sljedeća generacija marketinških sustava izvodit će 36 500+ eksperimenata godišnje."

Siuov okvir zamjenjuje skriptu za obuku marketinškim sredstvom—odredišnom stranicom, oglasnim oglasom ili hladnom e-poštom. Agent modificira varijablu (redak predmeta ili CTA), postavlja je, mjeri "stopa pozitivnih odgovora," i čuva ili odbacuje.

Siu tvrdi da to stvara a "vlasnička karta" onoga što rezonira s određenom publikom – jarak izgrađen ne od koda, već od povijesti eksperimenta. "Tvrtke koje pobijede neće imati bolje trgovce," napisao je, "imat će brže eksperimentalne petlje".

Rasprava u zajednici i ‘pokvarenje’ skupa za provjeru valjanosti

Unatoč žaru, GitHub rasprave otkrio zajednicu koja se bori s implikacijama tako brzog, automatiziranog napretka.

Zamka pretjerane optimizacije: Istraživač aleksistualan izazvao oštru zabrinutost: "Ne brinete li se da će pokretanje toliko eksperimenata na kraju ‘pokvariti’ skup za provjeru valjanosti?". Strah je da će s dovoljno agenata parametri biti optimizirani za specifične karakteristike testnih podataka, a ne za opću inteligenciju.

Značenje dobitaka: Korisnik samionb upitno je li pad s 0,9979 na 0,9697 uistinu primjetan. Karpathyjev odgovor bio je karakteristično izravan: "Sve što radimo je optimizacija performansi po računalu… ovo su stvarni i značajni dobici"

Ljudski element: Na X, korisnik vještacvoditelj rasta na kripto platformi Yari Financedokumentirali su vlastito pokretanje preko noći na Mac Mini M4, ističući da dok je 26 od 35 eksperimenata propalo ili se srušilo, sedam koji su uspjeli otkrilo je da "model je postao bolji tako što je postao jednostavniji".

Do tog uvida – da je manje često više – došlo se bez ikakve ljudske intervencije.

Budućnost: znatiželja kao usko grlo

Izdanje autorskog istraživanja sugerira budućnost istraživanja u različitim domenama gdje se, zahvaljujući jednostavnim mehanizmima AI instrukcija, uloga čovjeka pomiče s "eksperimentator" do "eksperimentalni dizajner."

Kako se pojavljuju alati kao što su DarkMatter, Optimization Arena i NanoClaw koji podržavaju ovaj roj, usko grlo napretka umjetne inteligencije više nije "računala za meso" (Karpathyjev opis ljudskog mozga) sposobnost kodiranja—to je naša sposobnost da definiramo ograničenja pretraživanja.

Andrej Karpathy ponovno je promijenio atmosferu. Više nismo samo modeli kodiranja; mi sijemo ekosustave koji uče dok mi spavamo.

Web izvor