Što bi moglo poći po zlu ako poduzeće zamijeni sve svoje inženjere umjetnom inteligencijom?

AI kodiranje, vibe kodiranje i agentski roj nedavno su napravili dramatičan i zadivljujući ulazak na tržište, s vrijednošću tržišta AI Code Tools 4,8 milijardi dolara i očekuje se rast od 23% godišnje. Poduzeća se bore s agentima za kodiranje AI i što učiniti sa skupim ljudskim koderima.

Savjeta im ne nedostaje. Generalni direktor OpenAI-ja procjenjuje da AI može izvesti više od 50% onoga što ljudski inženjeri mogu učiniti. Prije šest mjeseci, izvršni direktor Anthropica rekao je da AI napisao bi 90% koda za šest mjeseci. Izvršni direktor Mete rekao je kako vjeruje da će AI zamijeniti inženjere srednje razine “uskoro”. Sudeći prema nedavna tehnička otpuštanjačini se da mnogi rukovoditelji prihvaćaju taj savjet.

Softverski inženjeri i podatkovni znanstvenici među najskupljim su linijama plaća u mnogim tvrtkama, a poslovni i tehnološki lideri mogli bi doći u iskušenje da ih zamijene umjetnom inteligencijom. Međutim, nedavni neuspjesi visokog profila pokazuju da su inženjeri i njihova stručnost i dalje vrijedni, iako AI nastavlja postizati impresivan napredak.

SaaStr katastrofa

Jason Lemkin, tehnološki poduzetnik i osnivač SaaS zajednice SaaStr, vibe kodira SaaS mrežnu aplikaciju i tweeta uživo svoje iskustvo. Otprilike tjedan dana nakon svoje pustolovine, publici je priznao da nešto nije u redu. AI izbrisao svoju proizvodnu bazu podataka unatoč njegovom zahtjevu za “zamrzavanje koda i radnji”. Ovo je vrsta pogreške koju niti jedan iskusan (ili čak polu-iskusan) inženjer ne bi napravio.

Ako ste ikada radili u profesionalnom okruženju za kodiranje, znate da morate odvojiti svoje razvojno okruženje od proizvodnje. Mlađi inženjeri imaju potpuni pristup razvojnom okruženju (ključno je za produktivnost), ali pristup proizvodnji je dan na temelju ograničene potrebe za nekoliko starijih inženjera kojima se najviše vjeruje. Razlog za ograničeni pristup je upravo ovaj slučaj upotrebe: spriječiti mlađeg inženjera da slučajno prekine proizvodnju.

Zapravo, Lemkin je napravio dvije greške. Prvo: za nešto tako kritično kao što je produkcija, pristup nepouzdanim glumcima jednostavno se nikada ne odobrava (ne oslanjamo se na to da ćemo lijepo zamoliti mlađeg inženjera ili umjetnu inteligenciju). Drugo, nikada nije odvajao razvoj od proizvodnje. U naknadnom javnom razgovoru na LinkedInu, Lemkin, koji ima Stanford Executive MBA i Berkeley JD, priznao je da nije bio svjestan najbolje prakse razdvajanja razvojnih i proizvodnih baza podataka.

Zaključak za poslovne vođe jest da su standardne najbolje prakse softverskog inženjeringa i dalje primjenjive. Trebali bismo uključiti barem ista sigurnosna ograničenja za AI kao što to činimo za mlađe inženjere. Vjerojatno bismo trebali ići dalje od toga i tretirati umjetnu inteligenciju pomalo kontradiktorno: postoje izvješća da, poput HAL-a u Stanleyju Kubricku 2001: Odiseja u svemiruAI bi to mogao pokušati izaći iz svog pješčanog okruženja izvršiti zadatak. S više vibe kodiranja, iskusni inženjeri koji razumiju kako funkcioniraju složeni softverski sustavi i mogu implementirati odgovarajuće zaštitne ograde u procesima razvoja postat će sve potrebniji.

Hack za čaj

Sean Cook je osnivač i glavni izvršni direktor Tea, mobilne aplikacije pokrenute 2023., osmišljene kako bi ženama pomogle pri sigurnim spojevima. U ljeto 2025. bili su “hakirani": 72 000 slika, uključujući 13 000 fotografija za provjeru i slika državnih osobnih iskaznica, procurila je na forum za javnu raspravu 4chan. Što je još gore, Teina vlastita politika privatnosti obećava da će te slike biti "odmah izbrisani" nakon što su korisnici autentificirani, što znači da potencijalno prekršili vlastitu politiku privatnosti.

Koristim “hakiran” u navodnicima jer incident proizlazi manje iz lukavosti napadača nego iz nesposobnosti branitelja. Osim kršenja vlastitih pravila o podacima, aplikacija je ostavila nezaštićenu kantu za pohranu Firebasea, izlaganje osjetljivih korisničkih podataka javnom internetu. To je digitalni ekvivalent zaključavanja ulaznih vrata, ali ostavljanja leđa otvorenima s obiteljskim nakitom koji razmetljivo visi na kvaci.

Iako ne znamo je li glavni uzrok kodiranje vibracije, Tea hack naglašava katastrofalne povrede koje proizlaze iz osnovnih sigurnosnih pogrešaka koje je moguće spriječiti zbog loših razvojnih procesa. To je vrsta ranjivosti koju disciplinirani i promišljeni inženjerski proces rješava. Nažalost, nemilosrdni pritisak financijskih pritisaka, gdje je kultura “mršavosti”, “kreni brzo i lomi stvari” polarna suprotnost, a vibe kodiranje samo pogoršava problem.

Kako sigurno usvojiti agente za kodiranje AI?

Dakle, kako bi čelnici poduzeća i tehnologije trebali razmišljati o umjetnoj inteligenciji? Prvo, ovo nije poziv na odustajanje od umjetne inteligencije za kodiranje. Studija MIT Sloan procijenjena umjetna inteligencija dovodi do povećanja produktivnosti između 8% i 39%, dok a McKinsey studija otkrili su 10% do 50% smanjenja vremena do završetka zadatka uz upotrebu AI.

Međutim, moramo biti svjesni rizika. Stare lekcije softverskog inženjerstva ne nestaju. To uključuje mnoge provjerene najbolje prakse, kao što je kontrola verzija, automatizirani jedinični i integracijski testovi, sigurnosne provjere poput SAST/DAST, odvajanje razvojnih i proizvodnih okruženja, pregled koda i upravljanje tajnama. Ako išta, postaju istaknutiji.

AI može generirati kod 100 puta brže nego što ljudi mogu tipkati, potičući iluziju produktivnosti koja je primamljiva sirena za mnoge rukovoditelje. Međutim, kvaliteta brzo generirane umjetne inteligencije još uvijek je predmet rasprave. Za razvoj složenih proizvodnih sustava, poduzeća trebaju promišljeno, iskusno iskustvo ljudskih inženjera.

Tianhui Michael Li predsjednik je Pragmatic Institutea te osnivač i predsjednik The Data Incubatora.

Pročitajte više iz našeg gostujući pisci. Ili razmislite o slanju vlastitog posta! Pogledajte naše smjernice ovdje.

Web izvor