Da bi se sustavi umjetne inteligencije nastavili poboljšavati u radu znanja, trebaju im ili pouzdani mehanizmi za autonomno samousavršavanje ili ljudski procjenitelji sposobni uhvatiti pogreške i generirati povratne informacije visoke kvalitete. Industrija je enormno uložila u prvi. Gotovo uopće ne razmišlja o tome što se događa s drugom.
Tvrdio bih da problem ljudske procjene trebamo tretirati s jednakom rigoroznošću i ulaganjem koliko ulažemo u izgradnju samih sposobnosti modela. Zapošljavanje novih diplomiranih studenata u velikim tehnološkim tvrtkama ima pala za polovicu od 2019. Pregled dokumenata, istraživanje prvog prolaza, čišćenje podataka, pregled koda: modeli to sada obrađuju. Ekonomisti koji to prate nazivaju to istiskivanjem. Tvrtke koje to rade nazivaju to učinkovitošću. Niti se ne fokusiraju na problem budućnosti.
Sadržaj objave
Zašto samousavršavanje ima ograničenja u radu znanja
Očito odbijanje je učenje potkrepljenjem (RL). AlphaZero je naučio Go, šah i Shogi na nadljudskim razinama bez ljudskih podataka i pritom je generirao nove strategije. Potez 37 u meču protiv Lee Sedola 2016., potez za koji su profesionalci rekli da ga nikad ne bi odigrali, nije došao iz ljudske bilješke. Nastao je iz AI igre samog sebe.
Ono što to omogućuje je stabilnost okoline. Potez 37 je novi potez unutar prostora fiksnog stanja Go. Pravila su potpuna, nedvosmislena i trajna. Što je još važnije, signal nagrade je savršen: pobijedite ili izgubite, i to odmah, bez prostora za tumačenje. Sustav uvijek zna je li potez bio dobar jer partija na kraju završi s jasnim rezultatom.
Rad znanja nema nijedno od tih svojstava. Pravila u bilo kojoj profesionalnoj domeni su dinamična i neprestano ih prepisuju ljudi koji u njima djeluju. Dolaze novi zakoni. Izmišljeni su novi financijski instrumenti. Pravna strategija koja je funkcionirala 2022. mogla bi propasti u jurisdikciji koja je u međuvremenu promijenila svoje tumačenje. Je li medicinska dijagnoza bila točna možda se neće znati godinama. Bez stabilnog okruženja i nedvosmislenog signala nagrade, ne možete zatvoriti petlju. Potrebni su vam ljudi u lancu evaluacije kako biste nastavili podučavati model.
Problem formiranja
Sustavi umjetne inteligencije koji se danas grade trenirani su na temelju stručnosti ljudi koji su prošli upravo tu formaciju. Razlika je sada u tome što su početni poslovi koji razvijaju takvu stručnost prvo automatizirani. Što znači da sljedeća generacija potencijalnih stručnjaka ne gomila vrsta presude to čini ljudskog evaluatora vrijednim uključivanja.
Povijest ima primjere umiranja znanja. Rimski beton. Gotičke građevinske tehnike. Matematičke tradicije za koje su bila potrebna stoljeća da se obnove. Ali u svakom povijesnom slučaju uzrok je bio vanjski: kuga, osvajanje, kolaps institucija koje su udomljavale znanje. Ono što je ovdje drugačije jest da nije potrebna vanjska sila. Polja bi mogla atrofirati ne zbog katastrofe, već zbog tisuća pojedinačno racionalnih ekonomskih odluka, od kojih je svaka zasebno razumna. To je novi mehanizam i nemamo puno prakse da ga prepoznamo dok se događa.
Kad cijela polja utihnu
Na svojoj logičnoj granici, ovo nije samo problem cjevovoda. To je kolaps potražnje za samom ekspertizom.
Razmislite o naprednoj matematici. Ne atrofira jer prestajemo školovati matematičare. Atrofira jer organizacije prestaju trebati matematičare za svoj svakodnevni rad, nestaje ekonomski poticaj da to postanu, smanjuje se populacija ljudi koji se mogu baviti graničnim matematičkim zaključivanjem, a sposobnost polja za stvaranje novih uvida tiho se urušava. Ista logika vrijedi i za kodiranje. Naše pitanje nije “hoće li umjetna inteligencija pisati kod”, već “ako umjetna inteligencija piše sav proizvodni kod, tko razvija duboku arhitektonsku intuiciju koja proizvodi istinski novi dizajn sustava?”
Postoji kritična razlika između polja koje je automatizirano i polja koje se razumije. Danas možemo automatizirati ogromnu količinu građevinskog inženjerstva, ali apstraktno znanje o tome zašto određeni pristupi funkcioniraju živi u glavama ljudi koji su proveli godine radeći prvo pogrešno. Ako eliminirate praksu, ne gubite samo praktičare. Gubite sposobnost da znate što ste izgubili.
Napredna matematika, teorijska računalna znanost, duboko pravno rezoniranje, kompleksna arhitektura sustava: Kada posljednja osoba koja duboko razumije potpodručje algebre ode u mirovinu i nitko je ne zamijeni jer je financiranje presušilo i karijera je nestala, to znanje vjerojatno neće biti ponovno otkriveno u skorije vrijeme.
Nestalo je. I nitko to ne primjećuje jer modeli uvježbani na njihovom radu i dalje imaju dobre rezultate na mjerilima još jedno desetljeće. Mislim na ovo kao na izdubljivanje: površinska sposobnost ostaje (modeli i dalje mogu proizvesti rezultate koji izgledaju stručno), dok temeljna ljudska sposobnost da potvrdi, proširi ili ispravi tu stručnost tiho nestaje.
Zašto rubrike ne mogu u potpunosti zamijeniti
Trenutačni pristup je evaluacija temeljena na rubrikama. Ustavna umjetna inteligencija, učenje pojačanja iz povratnih informacija umjetne inteligencije (RLAIF) i strukturirani kriteriji koji omogućuju modelima da ocjenjuju modele ozbiljne su tehnike koje značajno smanjuju ovisnost o ljudskim procjeniteljima. Ne odbacujem ih.
Njihovo je ograničenje sljedeće: rubrika može obuhvatiti samo ono što je osoba koja ju je napisala znala mjeriti. Snažno ga optimizirajte i dobit ćete model koji je vrlo dobar u zadovoljavanju rubrike. To nije isto što i model koji je zapravo ispravan.
Rubrike skaliraju eksplicitni, artikulirani dio prosudbe. Dublji dio, instinkt, osjećaj da nešto nije u redu, ne stane u rubriku. Ne možete to zapisati jer to prvo morate doživjeti prije nego što znate što napisati.
Što to znači u praksi
Ovo nije argument za usporavanje razvoja. Dobici sposobnosti su stvarni. I moguće je da će istraživači pronaći načine da zatvore evaluacijski krug bez ljudske prosudbe. Možda sintetički podatkovni kanali postanu dovoljno dobri. Možda modeli razviju pouzdane mehanizme samoispravljanja koje još ne možemo zamisliti.
Ali danas ih nemamo. A u međuvremenu, mi rastavljamo ljudsku infrastrukturu koja trenutno popunjava prazninu, ne kao namjernu odluku, već kao nusproizvod tisuće racionalnih. Odgovorna verzija ovog prijelaza nije pretpostavka da će se problem riješiti sam od sebe. Potrebno je tretirati prazninu u evaluaciji kao otvoreni istraživački problem s istom hitnošću koju unosimo u povećanje sposobnosti.
Ono što AI najviše treba od ljudi je ono na što smo najmanje usredotočeni. Bez obzira na to je li to trajno ili privremeno točno, cijena ignoriranja je ista.
Ahmad Al-Dahle je tehnički direktor Airbnba.