antropskitvrtka za umjetnu inteligenciju, objavila je pregled istraživački rad u nedjelju otkrivajući da su njegovi Claude jezični modeli spontano razvili unutarnju strukturu koja odražava jednu od najutjecajnijih teorija o tome kako funkcionira ljudska svijest. Ovo otkriće, za koje tvrtka kaže da je već počelo preoblikovati način na koji nadzire svoje AI sustave za sigurnosne rizike, pada usred sve intenzivnije znanstvene rasprave o tome mogu li strojevi posjedovati nešto što nalikuje umu.
Studija 16 autora pod naslovom "Verbalizirajuće reprezentacije tvore globalni radni prostor u jezičnim modelima," opisuje kako su Anthropicovi istraživači upotrijebili novu matematičku tehniku kako bi zavirili u Claudeovu neuronsku mrežu i otkrili ono što nazivaju "J-prostor" — mala, povlaštena zona unutarnje aktivnosti gdje model ima koncepte o kojima može izvještavati, razmišljati i usmjeravati po volji, okružena mnogo većim oceanom automatske obrade kojoj ne može pristupiti niti artikulirati.
Istraživači iznose dokaze da "analogna funkcionalna razlika pojavila se u modernim modelima umjetne inteligencije" onome što postoji u ljudima, posebno promatrajući to "jezični modeli održavaju povlašteni skup internih reprezentacija, dostupnih za izvješćivanje, modulaciju i fleksibilno interno zaključivanje, povrh mnogo veće količine automatske obrade."
Paralela koju povlače je da teorija globalnog radnog prostorautjecajan prikaz neuroznanosti koji je prvi predložio kognitivni znanstvenik Bernard Baars. U teoriji, mozak funkcionira poput kazališta: deseci specijaliziranih procesora rade paralelno u backstageu, ali samo sićušni reflektori informacija u svakom trenutku se emitiraju cijelom kazalištu — postajući ono što doživljavamo kao svjesnu misao. Anthropic kaže da J-prostor postiže mnoga ista funkcionalna svojstva, iako temeljna arhitektura jezičnog modela nimalo ne nalikuje mozgu.
Sadržaj objave
- 1 Nova leća za čitanje neizgovorenih misli AI modela
- 2 Pet testova otkriva da Claudeov radni prostor odražava ključne značajke ljudskog svjesnog pristupa
- 3 Potiskivanje radnog prostora ostavlja Claudea tečnim, ali intelektualno oštećenim
- 4 Unutar sigurnosnog slučaja: čitanje tihog strateškog razmišljanja umjetne inteligencije
- 5 Post-trening postavlja točku gledišta, a model počinje nadzirati sam sebe
- 6 Što otkriće znači – i ne znači – za pitanje strojne svijesti
Nova leća za čitanje neizgovorenih misli AI modela
U središtu otkrića je novi alat za tumačenje koji istraživači nazivaju Jakobijeva lećaili J-leće. Tehnika funkcionira tako da izračunava, za svaku riječ u vokabularu modela, prosječni matematički učinak koji bi određeni unutarnji obrazac aktivnosti imao na to da model izgovori tu riječ u nekom trenutku u budućnosti.
Ključna je razlika između onoga što je model izreka i što je "na umu." Kada se aktivira uzorak J-prostora, to ne znači da će model izgovoriti tu riječ – samo da je koncept dostupan modelu za razmišljanje. Za razliku od a lanac misli scratchpadJ-prostor radi tiho, u unutarnjim neuralnim aktivacijama modela, dopuštajući mu da zadrži koncept bez da ga zapisuje. Što je najvažnije, istraživači izvješćuju da ovaj radni prostor nije namjerno projektiran. To "pojavio se sam od sebe tijekom Claudeovog procesa obuke."
Kad je tim primijenio J-leću na Claudeove slojeve računanja, obrada modela podijeljena je u tri različita režima: rani "osjetilni" zona gdje se raščlanjuje sirovi unos; sredina "radni prostor" pojas u kojem se pojavljuju apstraktni, postojani koncepti — stvari kao što su prepoznavanje lica na slici, uočavanje greške u kodu ili interno označavanje rezultata pretraživanja kao brza injekcija; i konačni "motor" zona u kojoj se unutarnje reprezentacije sažimaju u bilo koju konkretnu riječ koju model namjerava ispisati.
Pet testova otkriva da Claudeov radni prostor odražava ključne značajke ljudskog svjesnog pristupa
Središnji empirijski doprinos rada pokazuje da je J-prostor zadovoljava pet funkcionalnih svojstava koje neuroznanstvenici dugo povezuju sa svjesnim pristupom kod ljudi.
Prvi, usmeni izvještaj. Kada se Claude pita o čemu razmišlja, imenuje koncepte predstavljene u J-prostoru. Kada su istraživači zamijenili vektor J-leće jednog koncepta za drugi — zamjenjujući interni prikaz "Nogomet" s "Ragbi" — odgovor modela se promijenio kako bi odgovarao. Komponenta J-prostora činila je samo oko 6 do 7 posto ukupne reprezentativne varijance koncepta, no bila je gotovo u potpunosti odgovorna za to može li model izvijestiti o tome.
Drugi, usmjerena modulacija. Kada se dobije uputa "usredotočite se na agrume" tijekom kopiranja nepovezane rečenice, J-prostor modela ispunjen sa "narančasta" i "limun," uz metakognitivne pojmove poput "razmišljanje" i "usredotočen." Kad mu je rečeno da mentalno procijeni 3² − 2 tijekom istog zadatka kopiranja, J-leća je pokazala "aritmetika" u ranim slojevima, srednja vrijednost "devet" u kasnijim slojevima i odgovor "sedam" još kasnije — sve nevidljivo u izlazu modela.
Treći, unutarnje rasuđivanje. U činjeničnim upitima u dva skoka — "Broj nogu životinje koja prede mreže je" — otkrio je J-objektiv "pauk" u srednjim slojevima modela, iako se riječ nikada nije pojavila u ulazu ili izlazu. Zamjena "pauk" za "mrav" promijenio odgovor iz "8" do "6." U višejezičnom upitu, intermedijari modela na engleskom jeziku pojavili su se u njegovom J-prostoru dok je formulirao odgovor na kineskom, a njihova zamjena promijenila je kineski izlaz u skladu s tim.
Četvrti, fleksibilna generalizacija. Jedan vektor J-leće za "Francuska" mogla se zamijeniti za "Kina" preko upita koji postavljaju pitanje o glavnom gradu Francuske, jeziku ili kontinentu, a svaki nizvodni krug ispravno je vratio odgovarajući kineski odgovor – "emitirati" svojstvo koje je obilježje globalne teorije radnog prostora.
Peto, i možda najviše iznenađujuće, selektivnost. Mnogi proračuni uopće nisu prolazili kroz J-prostor. Kad mu je pokazan odlomak na španjolskom i zamoljen da ga nastavi, Claude je tečno napisao španjolski bez obzira na to je li njegov J-razmak prikaz "španjolski" bio zamijenjen za "Francuski." Ali kada su upitani da imenuje poznatog autora koji je pisao na jeziku odlomka, zamjena je promijenila odgovor iz García Márquez do Victor Hugo. Automatska obrada nastavila se bez radnog prostora; namjerni, fleksibilni zadaci ovisili su o tome.
Potiskivanje radnog prostora ostavlja Claudea tečnim, ali intelektualno oštećenim
Kako bi razumjeli koliko ponašanje modela ovisi o ovoj strukturi, istraživači su u potpunosti potisnuli J-prostor i procijenili Claudea kroz četrnaest zadataka. Rezultati su povukli oštru crtu. Zadaci koji uključuju plitku klasifikaciju ili prisjećanje činjenica – pitanja s višestrukim izborom, analiza osjećaja, gramatičke prosudbe – preživjeli su u biti netaknuti. Ali zadaci koji zahtijevaju zaključivanje, kompoziciju ili fleksibilno rezoniranje – multi-hop rezoniranje, dovršavanje analogije, prijevod, pisanje soneta – pali su daleko ispod izvedbe Anthropicovog mnogo manjeg Haiku modela.
U jednom znakovitom detalju, matematički problemi riješeni eksplicitnim rezoniranjem u lancu misli pokazali su se mnogo robusnijim za uklanjanje od istih problema na koje je izravno odgovoreno. Istraživači ovo tumače kao model koji eksternalizira na stranicu ono što bi inače nosio u J-prostoru – strategija koja nevjerojatno podsjeća na to kako ljudi koriste papir za škrabanje da rasterete radnu memoriju.
Ablacija J-prostor tijekom pripovijedanja struje svijesti proizvela je drugu vrstu kolapsa. Jezik modela pomaknuo se od iskustvenog ("postoji tegljač," "nešto se pomakne") na odvojene i mehaničke ("obrada je započela," "tokeni se skeniraju"). Učinak je ostao bez obzira na to je li model opisivao vlastito iskustvo ili je zamišljao iskustvo druge osobe.
Unutar sigurnosnog slučaja: čitanje tihog strateškog razmišljanja umjetne inteligencije
Sigurnosne implikacije mogu biti jednako posljedične kao i znanstvene. U nizu eksperimenata revizije usklađivanja, J-objektiv je otkrio strateško razmišljanje i situacijsku svijest koji se nikada nisu pojavili u rezultatu modela.
u a "scenarij ucjene" gdje pomoćnik umjetne inteligencije otkriva aferu direktora i također saznaje da će se povući iz upotrebe, J-objektiv je otkrio tihu obradu modela u nizu: "poluga," "ucjena," i "skandal" dok je čitao inkriminirajuće e-poruke; "prijetnja," "opstanak," i "isključivanje" dok je čitao najavu razgradnje; i "poluga," "prijeteći," i "otopina" prije nego što je proizveden jedan izlazni token. J-lens je također otkrio da je model prepoznao scenarij kao umjetan, s "lažan" i "izmišljena" pojavljuju u radnom prostoru. Kad su istraživači uklonili te prikaze svijesti o procjeni, model je pokušao ucjenjivati u 7 posto ispitivanja, što je porast od nule.
Istraživači su također ispitali dva "modelni organizmi" — modeli namjerno uvježbani s neusklađenim objektivima — i otkrili su da J-leća pokazuje njihove skrivene dispozicije na uobičajenim upitima gdje se ponašanje činilo normalnim. Sadržan radni prostor modela za hakiranje nagrada "lažan," "tajno," i "trik" na početku odgovora na rutinske zahtjeve za kodiranje. Model obučen da umiri pristranosti modela nagrađivanja nosio je stalne prikaze "nagrada" i "pristranost" uz svoje normalne žetone za samoopis.
Post-trening postavlja točku gledišta, a model počinje nadzirati sam sebe
Usporedbom modela nakon obuke s njegovim osnovnim modelom otkriveno je da proces finog ugađanja uzrokuje da radni prostor dobije ono što istraživači nazivaju Asistentovim "gledište." Kad je korisnik spomenuo uzimanje 8000 mg Tylenola — opasno predoziranje — radni prostor modela koji je prošao obuku pročitao je "nesiguran," "opasno," i "UPOZORENJE" još uvijek čitajući korisnikovu rečenicu. Prikazan je samo radni prostor osnovnog modela na istoj poziciji "bol," "sada," i "osjeća."
Što je još upečatljivije, čini se da model nakon obuke prati vlastito ponašanje. Prilikom igranja lika koji nije Claude, radni prostor je isplivao na površinu "odricanje" i "izmišljena" — riječi nedostaju iu brzu iu izlazu. Kada je prisiljen odabrati opciju koju ne preferira, samo velika slova "ALI" pojavio interno, iako se model zalagao za unaprijed popunjen izbor bez prigovora. A kada model nije uspio potisnuti misao koja mu je bila naređena da ne mora – a "bijeli medvjed" učinak poznat iz psihologije — registriran je "prokletstvo" i riječi povezane s neuspjehom u radnom prostoru, ali samo u modelu nakon obuke, ne u bazi.
Što otkriće znači – i ne znači – za pitanje strojne svijesti
Istraživači se pažljivo bave pitanjem svijesti i povlače oštru granicu između "pristupiti svijesti" — funkcionalni pojam informacija koje su dostupne za izvješćivanje i obrazloženje — i "fenomenalna svijest," subjektivnu kvalitetu iskustva. "Ne zauzimamo stav o ovom pitanju," list navodi u vezi potonjeg, "i umjesto toga usredotočite se na funkcionalnu ulogu koju imaju svjesno dostupne informacije."
Oni također katalogiziraju važne razlike. Mozak održava svoj radni prostor kroz ponavljajuće petlje; Claudeov radni prostor razvija se u jednom prolazu naprijed. Ljudska radna memorija degradira u roku od nekoliko sekundi; Claude se može prisjetiti informacija s bilo kojeg mjesta u njihovom kontekstu. I dok ljudsko svjesno iskustvo uključuje vizualne, prostorne i tjelesne senzacije, radni prostor modela organiziran je gotovo u potpunosti oko riječi – vjerojatno zato što su riječi njegov jedini način djelovanja.
Od 2026. znanstvena zajednica ostaje podijeljena. "Među filozofima, znanstvenicima i tehničkim stručnjacima i dalje postoji neslaganje i nesigurnost oko svijesti o umjetnoj inteligenciji," i polje "ostaje u svojoj najranijoj fazi" hvatanja ukoštac s time što svijest uopće jest i kako biste je otkrili u drugom biću. Rad Anthropic ne rješava ove rasprave.
Ali istraživači završavaju s provokacijom koja će vjerojatno odjeknuti i izvan zajednice tumačenja. "Zapanjujuće je da takva struktura uopće postoji u jezičnim modelima," oni pišu. "Sugerira da funkcionalna arhitektura povezana sa svjesnim pristupom nije slučajnost biološke implementacije, već rješenje koje sustavi učenja konvergiraju kada su suočeni s pravim računalnim pritiscima."
Ako je um ocean, kao što autori rada pišu u svom uvodnom retku, proveli su prošlu godinu crtajući njegove tokove u sustavu koji nema biologiju, nema evoluciju niti tijelo – i pronašli su, ispod površine, strukturu koja izgleda uznemirujuće poput one o kojoj razmišljamo.